【新智元导读】非营利研究机构AI2近日推出的完全开放模型OLMo2，在同等大小模型中取得了最优性能，且该模型不止开放权重，还十分大方地公开了训练数据和方法。
最近，非营利研究机构AI2上新了OLMo2系列模型，他们称之为「迄今为止最好的完全开源模型」。
![]()
CRMuGFsnEb6LdYJ4Yn35q7HVULV9oc7xczJdCVynZOyVbjGh9xJzrUx0xCqfhsSdI0PwQ/640?wx_fmt=png&from=appmsg" data-type="png" data-w="1080" data-original-="" data-index="13" src="http://pic.chinaz.com/2025/0125/2025012509020599310.jpg" _width="677px" alt="图片" data-fail="0" style="margin: 0px auto; padding: 0px; box-sizing: border-box; outline: 0px; border: 1px solid rgb(238, 238, 238); --tw-shadow: 0 0 #0000; --tw-ring-inset: var(--tw-empty, ); --tw-ring-offset-width: 0px; --tw-ring-offset-color: #fff; --tw-ring-color: rgba(41, 110, 228, 0.5); --tw-ring-offset-shadow: 0 0 #0000; --tw-ring-shadow: 0 0 #0000; max-width: 700px; background: url("../img/bglogo2.svg") center center no-repeat rgb(247, 248, 249); box-shadow: rgba(27, 95, 160, 0.1) 0px 1px 3px; display: inline-block;"/>
OLMo2系列包含7B和13B两个型号，相比如Llama3.1和Qwen2.5等开源模型达到了同等甚至更优的性能，同时FLOPS计算量更少，在性能和计算效率之间取得了极佳的平衡，为开源LLM开辟了新的可能性。
![]()
FMt=png&from=appmsg" data-type="png" data-w="1080" data-width="1080" data-original-="" data-index="14" src="http://pic.chinaz.com/2025/0125/2025012509020599311.jpg" _width="100%" alt="图片" data-fail="0" style="margin: 0px auto; padding: 0px; box-sizing: border-box; outline: 0px; border: 1px solid rgb(238, 238, 238); --tw-shadow: 0 0 #0000; --tw-ring-inset: var(--tw-empty, ); --tw-ring-offset-width: 0px; --tw-ring-offset-color: #fff; --tw-ring-color: rgba(41, 110, 228, 0.5); --tw-ring-offset-shadow: 0 0 #0000; --tw-ring-shadow: 0 0 #0000; max-width: 700px; background: url("../img/bglogo2.svg") center center no-repeat rgb(247, 248, 249); box-shadow: rgba(27, 95, 160, 0.1) 0px 1px 3px; display: inline-block;"/>
不同大小开源模型的性能对比，OLMo2的表现优于同参数规模模型
在多个下游任务上，OLMo2展现出了强大的泛化能力和适应能力。在10个基准上，OLMo-2-13B的性能全面超越了Llama-2-13B，OLMo-2-8B的基准均分也超过了Llama-3.1-8B。
训练过程全公开
不同于Llama、Qwen这类只开源模型权重的项目，这次AI2也秉持了一贯的开源风格，即不止发布了训练好的OLMo2模型权重，还公开了训练数据、代码、训练过程。这无疑为之后的LLM的研究和应用提供了宝贵的资源。
论文地址:http://arxiv.org/pdf/2501.00656
OLMo2的训练过程分为3个阶段，分别是预训练、中期训练和后期的指令调优。预训练数据混合了高质量的网页数据、代码数据和学术论文数据等。
在预训练阶段，OLMo2通过多种技术改进了训练稳定性，例如过滤重复的n-gram、使用更好的初始化方法、架构改进和超参数调整。这确保了模型在训练过程中不会出现崩溃或损失激增，从而提高了最终模型的性能。
预训练使用的高质量数据集
中期训练阶段使用高质量的领域特定数据（例如数学数据），以及合成数据，来增强模型的能力，特别是在数学任务上的表现;加上微退火技术评估以及选择高质量的数据源，进一步优化了中期训练的效果。
![]()
qqeNQ/640?wx_fmt=png&from=appmsg" data-type="png" data-w="1080" data-width="1290" data-original-="" data-index="18" src="http://pic.chinaz.com/2025/0125/2025012509020599325.jpg" _width="100%" alt="图片" data-fail="0" style="margin: 0px auto; padding: 0px; box-sizing: border-box; outline: 0px; border: 1px solid rgb(238, 238, 238); --tw-shadow: 0 0 #0000; --tw-ring-inset: var(--tw-empty, ); --tw-ring-offset-width: 0px; --tw-ring-offset-color: #fff; --tw-ring-color: rgba(41, 110, 228, 0.5); --tw-ring-offset-shadow: 0 0 #0000; --tw-ring-shadow: 0 0 #0000; max-width: 700px; background: url("../img/bglogo2.svg") center center no-repeat rgb(247, 248, 249); box-shadow: rgba(27, 95, 160, 0.1) 0px 1px 3px; display: inline-block;"/>
中期训练使用的高质量数据集
最后的指令调优阶段，研究人员基于Tülu3的指令调优方法，开发了OLMo2-Instruct模型，专注于使用许可数据，并扩展最终阶段的强化学习与可验证奖励（RLVR）。
此外，监督微调（SFT）、直接偏好优化(DPO)和RLVR等多阶段训练，显著提高了模型的指令跟随能力和生成质量。
OLMo2的开源是全方位的，包括所有用于复制和扩展这些模型所需的训练和评估代码、数据集、模型检查点、日志及超参数的选择等，相比只开源权重，使更多研究人员和开发者能够使用和改进这些模型。
通过开源所有组件，OLMo2促进了对语言模型行为和使用的理解和研究，促进语言模型研究的透明度和可重复性，这些足以成为之后研究所依赖的基础设施。
OLMo27B和13B模型的训练过程中的超参数
多管齐下造就「低碳」LLM
在大规模语言模型训练中，计算资源和环境影响是不可忽视的因素。Deepseek V3能够以20分之一的成本进行训练，而OLMo2团队也通过减少主机-设备同步、数据预处理、数据缓存等多种方法降低了训练成本，并取得了显著的成效。
OLMo2的训练主要在两个集群上进行:Jupiter和Augusta。Jupiter集群配备了128个节点，每个节点有8张H100，总共1024个GPU;Augusta集群由160个A3Mega虚拟机组成，每个虚拟机也有8张H100，总共1280个GPU。
OLMo2的7B模型在4.05万亿token上进行训练，13B模型在5.6万亿token上进行训练。训练时间取决于模型的参数规模和训练数据量。
同时为了降低能源消耗，团队使用水冷系统来降低GPU的温度和功耗，从而提高训练效率并降低电力成本。
这些措施加在一起，相比训练同大小的Llama3.1所消耗的1022MWh电力，OLMo27B训练过程中总计只消耗了131MWh的电力，相当于只有约10分之一的耗电量，显著降低了训练过程消耗的算力，能源及碳足迹。
OLMo 和Llama训练能耗的对比
OLMo2的发布，标志着开源LLM的持续进步，为相关领域的研究建立一个新生态系统。在这个生态系统中，新的训练方法和技术需要被理解和分享。