做大模型训练的团队大概都踩过同一组坑:Megatron-LM 吞吐高,改一个模型却要动并行切分和一堆配置;Hugging Face 那套上手快,规模上去吞吐就掉;到了具身模型,VLA 与 WAM 又得换第三套工具链,数据格式、分布式策略、评测环境各写一遍。要在国产芯片上跑,多半还得长期维护一个跟不上的分支。
LoongForge
下面讲清它解决什么、几项关键优化、怎么跑起来,以及门槛在哪。
LoongForge 是什么?
LoongForge 是百度智能云百舸团队开源的训练框架,前身是内部的 AIAK-Training-LLM,采用 Apache 2.0 协议,2026 年 4 月公开源码。它覆盖预训练
核心亮点:
- 双后端分工——LLM、VLM 与 Diffusion 走 M
- 吞吐加速——具身模型达到开源基线 1.79 到 4.38 倍
- MoE 负载均衡
- 自适应 FP8
- VLM 组件组合
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...