昨日，DeepSeek开源周（OpenSourceWeek）第四弹来了，DeepSeek在X上宣布这次开源的是三项优化并行策略，在Github上详细展开了DeepSeek-V3和R1模型背后的并行计算优化技术，通过这些阐述可以清晰了解团队是如何精细地优化计算和通信，最大限度利用GPU能力的。此前三日，DeepSeek陆续开源了让大模型在GPU上跑得更快的MLA解码核FlashMLA，用于MoE模型训练和推理的DeepEP通信库，以及可支持MoE的FP8 GEMM代码库DeepGEMM。
这三项优化并行策略其中包括DualPipe，这是一种用于V3/R1模型训练中计算与通信重叠的双向流水线并行算法，这种算法能够完全重叠前向和后向计算通信阶段，与传统方法相比减少了“流水线气泡”。
优化并行策略第二项是EPLB，它针对V3/R1模型，解决MoE模型在分布式训练和推理中的负载不平衡问题。
在第三部分，DeepSeek直接分享了来自训练和推理框架的性能分析数据，以帮助社区更好地了解通信计算重叠策略和低级实现细节。这些数据是用PyTorch Profiler采集的，下载后可以直接在 Chrome或 Edge浏览器中打开，进行可视化分析，DeepSeek还模拟了绝对平衡的MoE 路由策略用于性能分析。
DeepSeek这4天的发布都与Infra层的算法有关。据第一财经
0 条