博客详情

摩尔线程开源 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练 - 法式轮盘

10月28日消息，摩尔线程今天宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan。该项目基于摩尔线程全功能GPU，主要针对万卡级集群中万亿参数MoE模型的训练需求，涵盖预训练和强化学习两个场景，为开发者提供面向MUSA平台的训练适配及系统优化功能。

据介绍，Megatron-MUSA-Titan已在摩尔线程万卡级集群的万亿参数MoE模型预训练中持续使用，经过长时间训练实践检验，实现了高MFU（模型算力利用率）和长稳训练。同时，它支持与slime、miles强化学习框架协作，结合Megatron训练与SGLang样本生成，构建了贯通万亿参数MoE预训练与强化学习的训练基础。

IT之家注意到，Megatron-MUSA-Titan支持blockwise FP8训练，将摩尔线程全功能GPU的低精度计算能力引入训练流程，从而提升大规模训练的计算效率。它还能结合DeepEP与ACE异步通信引擎，加速MoE中的Token分发与结果合并，实现专家并行（EP）与计算的通算重叠，使数据交换与计算任务协同执行，进而提升端到端训练效率。

参考：

https://github.com/MooreThreads/Megatron-MUSA-Titan