小红书开源多模态大模型流水并行训练框架 BigMac

小红书 dots infra 团队开源多模态大模型训练框架，针对计算效率与显存占用难以兼顾的痛点，提出依赖安全的嵌套流水线设计，用 LLM 流水线为主干有序嵌入编码器与生成器计算。实验显示其训练速度较基线提升 1.08 至 1.9 倍，且显存占用保持稳定，目前已应用于 dots 系列模型生产训练。 更多详情...