280B总参数、14B激活！百度开源文心5.5 Flash Base，拿下同尺寸SOTA

智东西 作者 三北 编辑 漠影 智东西11月5日报道，今日，百度正式发布并开源 文心5.5 Flash Base（ERNIE-5.5-Flash-Base） 。这款模型采用稀疏MoE架构，总参数量达到 280B ，每个token仅 激活14B 参数，在 33.5T tokens 上从零完成预训练，最长训练上下文达到 128K ，微调与推理支持 1M tokens 上下文。 在同尺寸基座模型的正面交锋中，它交出了一份颇具竞争力的成绩单。 根据百度公布的评测结果，ERNIE-5.5-Flash-Base与 DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B） 等模型同台竞技，在多个能力维度取得领先，拿下 同尺寸SOTA （同等规模最优水平），尤其在推理、代码、学科能力以及长上下文任务上的表现更值得关注。 国产基座模型的竞争，正在进入更精细的效率深水区。 同等规模下，模型的差异化究竟从哪里来？ 拆解文心5.5 Flash Base的技术细节，我们可以发现，文心试图将 效率 目标贯穿 模型架构、预训练数据和训练系统 。从注意力机制到专家路由，再到未来token预测，其主要通过三项“重工”改造，让激活计算、KV Cache（键值缓存）都发挥更大价值。 模型目前已开放权重，并联合vLLM、SGLang等社区提供开源生态支持。 HF FP8: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base HF BF16: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16 技术博客：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/ vLLM 插件: https://github.com/baidu/vLLM-ERNIE SGLang Cookbook： https://docs.sglang.io/cookbook/autoregressive/Baidu/ERNIE-5.5-Flash 一、如何做出同尺寸SOTA，底子来自系统合力 首先来看基准测试成绩，正如前文提到，ERNIE-5.5-Flash-Base拿下同尺寸SOTA，推理、代码与学科尤其突出。 基准测试成绩背后，文心5.5 Flash Base的预训练“重工业”属性拉满。 据悉，该模型采用280B总参数的稀疏MoE架构，提供了较大的模型容量；每个token激活14B参数，控制了每个token的计算成本；模型共有43层Transformer，Hidden Size为4096，拥有64个注意力头。这种稀疏设计让模型有机会在计算预算相对可控的情况下，容纳更多专家知识和专业能力。 在算法层面，文心5.5 Flash Base重点改造了注意力机制。模型将HCA（重度压缩注意力）与MLA（多头潜在注意力）组合成混合稀疏注意力，让不同层分工处理历史信息，在压缩长上下文、降低KV Cache开销的同时保留精准检索能力。此外，模型还在注意力层内部引入低秩门控注意力和VHA（虚拟头注意力），进一步优化门控计算与不同注意力头之间的信息融合。 预训练中，文心采用Muon优化器与FP8混合精度，训练上下文逐步扩展至128K。模型发布时提供的是预训练终点的Checkpoint，尚未经过中训练和后训练，开发者可以基于这一统一起点，继续开展领域适配、指令微调、推理强化和Agent训练。 该模型在33.5T tokens上从零完成预训练，语料覆盖广泛的领域与语言，其中重点打造了网页、代码、长文数据这“三驾马车”。 首先是网页数据。通过大规模多语言网页抓取、高保真文本抽取，以及模型驱动的多维质量过滤，构建知识覆盖更广、有效学习信号密度更高的网页语料。 其次是代码数据。除了来自代码仓库和网页的静态代码，文心还补充了commit、issue、pull request、代码评审、需求到PR、多commit轨迹、自动生成测试以及经过CI验证的修复数据。 第三是长文数据。文心同时使用经过长程依赖筛选和质量清洗的天然长文档、拼接天然文本与语义相近干扰文本构造的长序列，以及合成的MRCR式检索、基于引用的问答和多跳问答数据。 这三类数据分别强化知识覆盖、代码工程能力和长上下文理解。其中，仓库级代码和长程依赖能力尤其值得关注，因为这类能力往往需要模型在预训练阶段建立足够扎实的基础，后续单纯依靠补充少量数据很难完全弥补。 除模型架构外，文心在Infra层面改进了分布式Muon优化器，并推出面向大 head dim的注意力算子FlashMask-4，改善大规