DeepSeek开源周（OpenSourceWeek）第四弹来了，DeepSeek于2月27日在X上宣布这次开源的是三项优化并行策略，并在Github上详细展开了DeepSeek-V3和R1模型背后的并行计算优化技术，通过这些阐述可以清晰了解团队是如何精细地优化计算和通信，最大限度利用GPU能力的。这三项优化并行策略其中包括DualPipe，这是一种用于V3/R1模型训练中计算与通信重叠的双向流水线并行算法，这种算法能够完全重叠前向和后向计算通信阶段，与传统方法相比减少了“流水线气泡”（设备在某些时刻的空闲等待）。 在DualPipe的开发团队署名中，包括创始人梁文锋。 (第一财经)