这项由JetBrains琢磨团队与德国不来梅Constructor University合股开展的琢磨，于2026年5月以时间论说形态发布，编号为arXiv:2605.31268v1，感意思意思的读者可通过该编号检索完整论文。

**一个让模范员麻烦的老问题**

每当模范员开放电脑，濒临一个需要写代码、改bug、查文档、问AI的下昼，他们都在抽象期待着一件事——有一个既明智又响应赶紧的AI助手，随时等在旁边帮衬。问题是，明智的AI时常需要豪侈无数算力，运行起来要么很贵，要么很慢，要么两者兼而有之。低廉又快的AI，又时常在遭逢复杂任务时掉链子。

JetBrains是一家以拓荒专科编程器具闻明的公司，他们的居品每天都在公共数百万模范员的电脑上运行。正因如斯，他们比任何东谈主都明晰：一个实在好用的AI编程助手，弗成只会填写代码片断，还要能写通盘函数、改旧代码、找出bug、调用各式器具、在一个大神色的文献之间穿梭导航，致使要能像一个教学丰富的共事那样和你聊编程。而这一切，都必须在模范员的普通电脑上畅达运行，弗成让东谈主比及合手狂。

为了措置这个矛盾，JetBrains推出了他们的新一代模子——Mellum 2。这是他们早期阿谁只会填写代码的浮浅模子Mellum的全面升级版。新模子领有120亿个参数，却只在处理每个词的时候激活其中25亿个，相当于一个领有丰富学问储备的大师，想考时只调用最干系的部分，而不是把整个挂念都翻一遍。

**一、大脑的结构：为什么不是"越大越好"**

要理会Mellum 2的瞎想想路，不错把AI模子的参数想象成一家大型藏书楼的藏书量。藏书越多，能恢复的问题就越庸俗；但每次有东谈主来查辛苦，淌若必须把通盘馆的书都翻一遍，那效能就太低了。明智的典籍管理员只会在干系的书架上查找。Mellum 2选用的中枢时间叫"搀杂大师架构"（Mixture-of-Experts，简称MoE），恰是这个意旨：模子里有64位"大师"，每次处理一个词时，独一其中8位大师实在参与职责。这么，模子统统存储了120亿参数的学问，但实质运算量只相当于一个25亿参数的小模子。

JetBrains在采用这个架构之前，作念了无数的对比实践。他们滥觞尝试了密集型模子（Dense Model），也便是每次处理都激活整个参数的传统方式。他们测试了各式不同深度和宽度的设置，层数从24层到40层不等，荫藏维度从2304到4096不等，致使还尝试了DeepSeek团队瞎想的一种叫作念"多头潜在精好意思力"（MLA）的特殊架构。赶走发现，在他们设定的速率不停下，莫得任何一个密集模子能结识地超越Qwen2.5-7B这个7B参数的标杆模子。MLA架构确乎允许把模子扩展到约55亿参数，同期保持相似速率，但质料擢升并不及以弥补锻真金不怕火复杂度加多带来的代价，而且其时救济的潜在秩维度对他们的模子限度来说太大了。

转向MoE架构后，他们参考了Qwen3-30B-A3B这个模子的瞎想，按比例缩小以适配单张H100显卡的内存上限（低于180亿总参数）。大师数目固定为64个，因为更多大师会超出显卡内存。他们测试了不同的激活大师数目：激活2个大师的模子比激活8个的快约1.5倍，但质料昭彰变差；而在小限度模子上，寥落渡过高确乎有损质料，这与学术界此前的琢磨论断一致。最终，"64个大师，每次激活8个"成为质料与速率的最好平衡点，在这个设置下，模子最高不错扩展到约150亿总参数，同期与Qwen2.5-7B保持相当的推理速率。

**二、精好意思力机制的全心剪辑**

除了大师架构自身，模子里还有一套叫作念"精好意思力机制"的安装，负责让模子理会笔墨之间的关联——比如，在一段代码里，"这个变量"到底指的是前边哪个界说。这部分的瞎想对运行速率影响极大。

传统的多头精好意思力机制，就像让一群东谈主同期盯着整篇文档的每个边际作念条记，然后汇总。JetBrains在Mellum 2中使用了分组查询精好意思力（Grouped-Query Attention，GQA），把存储中间赶走（也便是KV缓存）所需的"记载员"数目从时常的好多个压缩到独一4个。这个数字的采用经过了仔细量度：8个记载员会导致在高并发场景下吞吐量大幅着落，而只用2个记载员时，模子质料又会昭彰变差。4个恰好是甘好意思点。实践数据自大，Qwen2.5-7B用4个KV头能达到的并发吞吐量，与他们的前代模子Mellum-4B用8个KV头时大要相当，尽管前者参数目简直是后者的两倍。

另一个短处瞎想是"滑动窗口精好意思力"（Sliding Window Attention，SWA）。正常的精好意思力机制，每个词都要表情输入文本里整个其他词，跟着输入文本变长，筹备量会急剧扩张。滑动窗口精好意思力则像一个焦点灯，每次只照亮隔邻一小段区域，大大裁汰了大多数层的筹备量。Mellum 2把28层Transformer中的21层（即四分之三）诞生为滑动窗口精好意思力，窗口大小为1024个词元（token），剩余7层保持全局精好意思力，以确保模子在需要时仍能捕捉远距离的坎坷文信息。实践标明，窗口大小1024比512在质料基准上阐述更好；而且带有滑动窗口精好意思力的MoE模子，在输入长度翻倍的情况下仍能保持与Qwen2.5-7B相当的蔓延，在需要处理长代码文献的职责经过中上风显赫。

还有一个颇具巧想的瞎想：多词元瞻望头（Multi-Token Prediction，MTP）。时常模子每次瞻望下一个词，而MTP让模子在锻真金不怕火时额外瞻望再下一个词，用一个额外的Transformer层杀青，锻真金不怕火时额外加多的时辰约7%。这个头在端庄推理时会被移除，不影响模子自身的瞻望，但它带来了双重公正：一方面手脚支持锻真金不怕火目的擢升了模子质料，另一方面不错充任"忖度解码"（speculative decoding）的草稿生成器，加快推理。在对比实践中，加入MTP的模子在HumanEval代码生成测试上擢升了10.4个百分点，在MMLU学问测试上擢升了3.6个百分点，在MMLU-Pro上擢升了3.3个百分点，在GSM8K数学测试上擢升了3个百分点。

**三、锻真金不怕火数据的三段式厨艺形而上学**

模子的"灵巧"来源于它看过的文本数据。Mellum 2的锻真金不怕火数据约达10.6万亿个词元，涵盖网页文本、源代码和数学内容三大类别。淌若把锻真金不怕火过程比作沿路全心瞎想的套餐，那这三个阶段的安排就像是先打底、再提质、临了精真金不怕火。

第一阶段叫"基础确立"，处理了约6.18万亿词元，占总量58%。这一阶段以网页和通用学问为主（约70%），代码占23%，数学独一6%。目的是让模子先建立以前的话语理会智商和基础代码理会。这一阶段涵盖了学习率预热和保持阶段。

第二阶段叫"质料擢升"，处理了约2.79万亿词元，占总量26.2%。代码比例大幅擢升至42%，高质料精选数据集（包括指示奴婢数据、推理问答、STEM教学数据、学问对都著述）被引入。此阶段的精选数据是在学习率结识后引入的，因为精选数据在这个时候成果更好。同期引入了新的合成代码数据集，原始代码语料库参加第二轮学习。

第三阶段叫"智商锐化"，处理了约1.69万亿词元，占总量15.9%。学习率参加线性衰减，代码比例进一步升至59%，网页内容缩减为独一最高质料的精选来源。额外引入了代码审查和跨话语代码出动等合成数据集，原始代码语料库参加第三轮学习。

代码数据本要素为三类：一是来自公开仓库的原始代码，按文献去重；二是从Common Crawl（一个大限度网页快照）索要的含代码网页；三是合成和繁衍代码数据集，通过代码纲目、功能扩展、话语出动、测试生成、提交信息等方式为代码附受骗然话语注解，还有问答、代码重写、代码审查、代码教学证明等合成数据。琢磨发现，合成代码数据对小限度MoE模子的匡助尤为昭彰，因为这类模子更需要数据的千般性。

网页和通用学问数据包括大限度合成网页语料、教学类网页内容、教学PDF、多话语推理和问答数据集，以及精选学问来源——维基百科改写、合成百科条件等。数学数据则包含数学指示调优数据、多质料层级的数学网页内容、数学课本和数学SFT数据。

数据访佛战术也经过了全心瞎想。高质料数据因为稀缺，会被屡次使用。微型精选代码数据集换取三个阶段，原始代码语料库履历三轮学习，合计孝顺约9580亿词元。但莫得任何数据集被访佛非常4次，因为实践发现非常这个次数之后，连接访佛如故带不来收益了。而且关于MoE锻真金不怕火来说，高质料数据的屡次锻真金不怕火能有用锐化大师专科化，这是只看一遍嘈杂数据作念不到的。

**四、填空锻真金不怕火：为IDE瞎想的特殊妙技**

除了圭臬的"下一词瞻望"锻真金不怕火，Mellum 2还特地作念了填空中间（Fill-in-the-Middle，FIM）锻真金不怕火。这对IDE代码补全至关热切——当模范员把光标停在代码中间某处，需要AI补全这段内容时，AI必须同期看到光标前后的坎坷文，而不仅仅前边的部分。

FIM锻真金不怕火把文档立地分红三段（前缀、中间、后缀），用特殊标记重新摆设后手脚锻真金不怕火样本。琢磨团队使用PSM（前缀-后缀-中间）和SPM（后缀-前缀-中间）两种摆设各占50%。FIM的比例也随锻真金不怕火阶段动态调整：第一阶段50%（应用于所稀少据）；第二阶段降至10%（精选数据主要用圭臬瞻望方式消化）；第三阶段复原至50%，但只应用于源代码文献，非代码数据连接用圭臬瞻望。

**五、优化器的采用：Muon的到手**

采用合适的优化器（即收敛模子学习方式的算法）对锻真金不怕火质料至关热切。琢磨团队测试了AdamW（深度学习领域最常用的优化器）和Muon（一种新式优化器，对荫藏层参数使用正交化更新）两种决议，并在两种不同的Muon设置下进行了对比：Megatron默许设置（额外缩放因子1.0）和Moonlight设置（额外缩放因子0.2）。

在密集型7B架构上，Megatron默许设置在锻真金不怕火约210亿词元时径直发散崩溃，而Moonlight设置大幅打败AdamW，考据逝世裁汰了约0.028（相当于约2.5%的立异）。在MoE 14B架构上，两种Muon设置都能料理，Megatron默许设置最终逝世略好（低约0.026，约2.4%），Moonlight紧随后来。最终采用Moonlight设置，因为它在密集和MoE架构上都保持了结识性。

学习率选用"预热-保持-衰减"（Warmup-Hold-Decay，WHD）战术：先线性预热2000步到峰值3×10??，在第一和第二阶段保持峰值，在第三阶段（约49306步，占总锻真金不怕火时辰15%）线性衰减到零。线性衰减到零比余弦衰减到非零最小值成果更好，能以更低的有用筹备量达到同等逝世。全局批量大小从2048个序列线性斜升到4096个序列，每步处理约3360万词元。锻真金不怕火精度以BF16为基础，和谐FP8搀杂精度锻真金不怕火，梯度规约保持FP32精度以确保数值结识性。

**六、锻真金不怕火过程中的不测插曲**

任何大限度锻真金不怕火都会遭逢出东谈主猜想的抽象，Mellum 2也不例外，而且琢磨团队采用坦诚地记载了这些履历。

锻真金不怕火初期出现了两次逝世尖峰，追查后发现是数据中有些序列词汇千般性极低——比如通盘坎坷文窗口里就访佛并吞个词元。措置决议是过滤掉专有词元少于82个（占8192坎坷文长度1%）的样本。

此外，数据准备管谈按词元序列的哈希值排序，导致一些有余长的文档被切割成多个8192词元的块之后，这些块造成了统统相似的副本。哈希排序把这些副本放在每个数据分片的相似位置，而每个锻真金不怕火阶段由16个均匀分片组成，导致每个阶段出现16次周期性的逝世着落。这些影响不大，是小幅且孤独的，对锻真金不怕火动态莫得可测量的影响，琢磨团队决定不处理。

锻真金不怕火半途，筹备集群从32节点移动到16节点，保持全局批量大小不变。移动后全局负载平衡逝世昭彰着落，但这不是模子行动的变化，而是Megatron-LM杀青全局支持逝世的方式在节点数变化时产生的蓄积语义相反——节点减少意味着每步梯度蓄积的微批次更多，运行平均值更接近确实溜达，算出的逝世系统性地更低，但优化信号是等价的。

**七、扩展到超长坎坷文：从8K到128K的向上**

基础预锻真金不怕火完成后，Mellum 2的坎坷文窗口还独一8192个词元，轻便只可装下十几页代码。为了让模子处理更大的代码库和更长的对话，琢磨团队进行了特地的长坎坷文扩展锻真金不怕火，将坎坷文扩展至131072个词元（约128K）。

扩展的中枢时间是YaRN——一种调整模子位置编码频率的步伐，匡助模子理会更长序列中词语的相对位置。但有一个短处的巧想：琢磨团队并莫得把YaRN应用到整个层，而是只应用到全局精好意思力层（每四层中的那一层），让滑动窗口层保持蓝本的位置编码参数。这种"层采用性YaRN"的想路最早由Gemma 3团队提议，OLMo 3也随后选用。Mellum 2的消融实践与他们的发现一致：在64K评估坎坷文下，层采用性YaRN的RULER评分（一个测试长坎坷文理会智商的基准）为0.64，昭彰优于挽回调整RoPE基础（0.52）和不作念任何调整（0.33）。差距随坎坷文长度加多而扩大，不调整的模子在非常32K后统统崩溃，挽回调整则无须要隘干涉了本来运作正常的滑动窗口层。

长坎坷文锻真金不怕火数据是第三阶段预锻真金不怕火数据的重新平衡版块，加入了一部分当然包含长坎坷文示例的智能代理SFT数据。重新平衡时特地下采样了长推理链，因为发现它们主导了长坎坷文数据的尾部，会让模子偏向推理作风输出而捐躯通用长坎坷文智商。琢磨团队还在扩展数据中加入了基于仓库级坎坷文的FIM格花样本，延续Mellum 1的作念法，将干系文献级荟萃成前缀，确保模子在长距离跨文献代码补全时也能学到正确的精好意思力模式。

锻真金不怕火约300亿词元后，RULER评分在整个测试坎坷文长度上就如故接近最终值（过失约1个百分点），2026世界杯中国线上平台但MoE路由器的负载平衡逝世在而后仍络续着落——路由器还在连接适应新的序列长度模式。基于这个信号，琢磨团队将锻真金不怕火延长到3500轮（约1170亿词元），闪开由器充分结识后再退火。峰值学习率为3×10??，比预锻真金不怕火低一个量级。

**八、两个特性不同的"学生"：Instruct和Thinking**

长坎坷文锻真金不怕火完成的基础模子还弗成径直被用户使用，还需要"后锻真金不怕火"：先作念监督微调（SFT），再作念强化学习。琢磨团队从并吞个长坎坷文搜检点启程，锻真金不怕火出两个作风不同的变体。

Instruct（无想考）变体是一个径直恢复助手，不展示里面推理过程，逝世筹备障翳对话中的每个助手轮次，来源数据中的推理字段会被丢弃。Thinking（想考）变体是一个推理增强助手，在给出最终谜底前会先生成一段里面推理链，独一临了一个助手轮次（连同它的推理轨迹）孝顺逝世，短少推理轨迹的对话会被抛弃，而且为了放大多轮对话数据的有用信号，每段多轮对话最多会产生5个锻真金不怕火样本（通过在一语气助手轮次上滑动逝世目的杀青）。

两个SFT版块的数据涵盖多个大类。通用对话和指示奴婢，包括开放域问答、阅读理会、多选题和短形态指示奴婢。单轮编码，涵盖多种编程话语的代码生成、编著、证明和翻译，有特地针对C++、Python、C#、JavaScript和TypeScript竞赛编程的子集。智能代理编码，包括长程交互代理轨迹（早期和改良版），包含SWE作风的仓库级编著任务，为模子提供导航代码库、筹划多法子编著、考据中间赶走的模式。器具使用和函数调用，涵盖通用函数调用形态、Bash扩充、澄澈器具和搜索器具，陶冶模子正确调用器具并从器具颠倒中复原。推理轨迹，包含带有想维链的示例，涵盖数学、代码和通用推理，在处理时为Instruct变体过滤掉。安全数据，来自开放许可安全语料库，目的是减少无益输出而不损伤良性代码教唆的有用性。身份示例，一小组自我标志对话，过采样3倍，让模子可靠地以"Mellum 2"先容我方。风趣的是，在莫得这类数据的运转锻真金不怕火中，模子永远把我方刻画为谷歌拓荒的AI助手，尽管锻真金不怕火中莫得使用任何谷歌模子生成的合成数据。

SFT锻真金不怕火从长坎坷文YaRN搜检点运飘浮，与预锻真金不怕火使用相似的溜达式Muon优化器，在各自的打包数据集上锻真金不怕火三轮。学习率峰值为3×10??（预锻真金不怕火峰值的十分之一），余弦衰减至3×10??（峰值的10%）。MoE支持负载平衡系数从10??降至10??，因为路由器在预锻真金不怕火后如故平衡，更小的系数幸免在较窄的SFT溜达上过度不停大师行使率。Instruct版块豪侈约470亿词元，Thinking版块豪侈约1670亿词元。

**九、用奖励机制打磨最终妙技**

SFT之后是强化学习（RL）阶段，用模范可考据的奖励信号（RLVR）进一步精真金不怕火。采用RLVR而非依赖东谈主类反馈强化学习（RLHF）的原因是：锻真金不怕火语料库中每个教唆都有明确的模范化正确性搜检步伐，不需要锻真金不怕火一个单独的奖励模子（阿谁模子的过失会期凌梯度信号）。

RL基础设施分为锻真金不怕火节点（持有战术权重、运行梯度更新）和推理节点（托管生成引擎、产生锻真金不怕火样本）两组，由Ray诊治、Kubernetes编排。锻真金不怕火用NeMo-RL框架，通过Megatron-Bridge设置，精度与预锻真金不怕火相似（BF16/FP8搀杂）。生成用vLLM。奖励筹备孤苦运行在单独的微劳动集群，通过考据网关路由到不同后端：代码扩充沙箱（基于单位测试）、数学谜底考据器（记号和数值相比）、LLM-as-a-Judge劳动（评判开脱形态输出），以极端他专用环境（如有状况器具对话的会话管理）。

RL数据分为Instruct和Thinking两套组合，各约26万条锻真金不怕火教唆和3600条考据教唆，按智商领域溜达。代码域各占22%，各57500条。数学域在Instruct中占23%（6万条），Thinking中占28%（7.2万条）。智能器具使用在Instruct中占14%（3.6万条），Thinking中占12%（3.1万条）。指示奴婢在Instruct中占19%（4.95万条），Thinking中占21%（5.35万条）。推理在两套中各占13%（3.5万条）。学问在Instruct中占9%（2.25万条），Thinking中仅占4%（1万条），因为过多MCQA表露会损伤指示奴婢质料。

代码域数据团结了竞赛编程题库、数学与代码配对数据集（让模子用Python扩充器具措置数学问题，也计入数学域），以及琢磨团队自建的12种编程话语确实任务集——障翳全新杀青、从堆栈追踪调试、测试生成、行动修改、文献系统与API集成、安全加固六类职责，每个任务附带测试套件，通过率界说奖励信号。

数学域数据以三种互补作风组成：纯数学（无器具，严格匹配考据）、带筹备器器具的数学（模子发出筹备器器具调用并使用复返值）、带代码扩充的数学（用Python扩充器具筹备中间量）。

RL算法是GRPO（一种近端战术优化变体）的定制版块。逝世在词元层面筹备，每个有用生成词元对梯度孝顺相似（罢黜DAPO和Dr. GRPO的建议）。上风用留一基线筹备，不作念圭臬差归一化（罢黜Dr. GRPO）。每个教唆采样G个响应，过采样约1.5倍，丢弃组内奖励方差为零的教唆组。PPO剪辑使用分歧称范围（低剪辑低于高剪辑），"更高剪辑"诞生让正上风更新比负上风更新流动得更开脱（来自DAPO）。不使用KL刑事背负项将战术锚定到SFT参考，与最近的大限度开放RL系挽回致。

MoE路由器带来了一个特殊挑战：即使推理时和锻真金不怕火时用的是并吞套权重，并吞个荫藏状况可能被路由到不同大师，导致对并吞词元的对数概率不同。琢磨团队用IcePop截断步伐措置这个问题：对每个生成词元，只在锻真金不怕火-推理比率（ρ_t）处于[α， β]区间内时才保留其逝世孝顺，超出区间则径直归零，而不是像PPO剪辑那样压缩到界限值。这是更安全的作念法，因为大ρ_t很可能是大师切换导致的，而不是真偶然得应用的战术更新。

奖励塑形还加入了两条章程。一是软超长刑事背负（来自DAPO）：在最大响应长度的缓冲区内，奖励在区间下边缘的原始分数和长度上限处的设置下限之间线性插值，非常长度上限的统统从逝世中删除。二是精真金不怕火性刑事背负，特地应用于非想考型响应：在早期Instruct运行中发现模子来源在莫得think标签的情况下产生内嵌推理，与Instruct模子的部署范例违犯。这种"等等，我再想想"式的推理模式有相当结识的词汇标记，琢磨团队按触发词数目分三个强度档乘性地缩减正确响应的奖励，只在这些词汇不属于正当输出的任务上应用。这个刑事背负成果显赫：在接近锻真金不怕火赶行运采样的数学响应中，无精真金不怕火刑事背负版块平均每个响应有7.3个反想触发词（每千字符0.75个），而启用刑事背负的分娩版块独一0.6个（每千字符0.21个）。

RL超参数两个阶段分享，每步256个教唆，每教唆16个生成，全局批量大小4096，过采样因子1.5倍，轨迹最大滞后2步，PPO剪辑范围0.2/0.28，IcePop区间[0.5， 5.0]，KL系数为零，AdamW优化器（β?=0.9， β?=0.999，权重衰减0.01），峰值学习率1×10??，衰减至1×10??，梯度范数上限1.0，最多10轮器具调用。主要相反在于：Instruct最大序列16384词元，锻真金不怕火500步；Thinking最大序列40960词元（需要更长想维链），锻真金不怕火100步，每步微批次大小降至1。

**十、实战阐述：那儿强，那儿弱**

预锻真金不怕火评估将Mellum 2 Base与OLMo-3-7B、Qwen2.5-7B、Qwen3-4B-Base和Qwen3.5-4B-Base对比。尽管只激活25亿参数，Mellum 2在多个推理和代码任务上能与7B密集模子竞争致使超越。在MMLU-Pro（高等多任务学问测试）上达到59.3%，非常Qwen3.5-4B（52.4%）和Qwen2.5-7B（48.6%）。BBH（复杂推理）达74.9%，超越OLMo-3-7B（63.6%）、Qwen2.5-7B（69.0%）和Qwen3-4B（71.3%）。GSM8K（数学笔墨题）达81.7%，与Qwen2.5-7B（81.9%）和Qwen3-4B（82.0%）持平。MBPP/MBPP+（代码生成）离别达62.4%/61.4%，超越OLMo-3-7B和Qwen3.5-4B。GPQA Main（琢磨生级科学问答）达35.0%，超越OLMo-3-7B（27.9%）和Qwen2.5-7B（34.2%）。相对薄弱的是HumanEval（41.5%），不事后锻真金不怕火阶段显赫擢升了这个方针。

后锻真金不怕火评估则将两个变体与Qwen3.5-4B、Qwen3.5-9B、OLMo-3-7B、Ministral-3-14B、Seed-Coder-8B对比，障翳代码、器具使用、数学、学问、对话和安全七个智商域。

在代码域，EvalPlus（HumanEval+和MBPP+的平均，测试函数级代码合成智商）上Mellum 2-RL达78.4%，最初整个对比模子，包括Qwen3.5-9B（71.8%）和代码专用的Seed-Coder-8B（73.8%），这恰是预锻真金不怕火数据径直针对的领域。LiveCodeBench v6（竞赛编程）上Instruct变体为37.2%，落伍Qwen3.5系列（51.0%和63.7%），但Thinking变体的SFT版块达75.1%，成为测试组中的最高分，最初Qwen3.5-9B-Thinking 6.8个百分点，证实算法推理在模子智商范围内，但需要显式想考预算才智开释。MultiPL-E（多话语代码）居中。

在器具使用域，RL带来了最大的单步擢升：BFCL v3（多轮函数调用）从43.1%跳至66.3%（Instruct），Thinking变体的SFT到RL从60.5%升至69.4%，非常Qwen3.5-9B-Thinking（68.5%）。BFCL v4（加入智能网页搜索和挂念器具）上，Mellum 2-RL-Thinking以45.6%最初全组，高于Qwen3.5系列（42.9%/42.7%）。

数学域同样受益于RL：AIME（高中数学竞赛，2025和2026各30题）从SFT-Instruct的29.9%擢升至RL-Instruct的41.7%，Thinking模式从20.0%擢升至58.4%。SFT-Thinking的AIME得分低于SFT-Instruct，琢磨团队以为这是因为Thinking头需要经过RL阶段的数学推理锻真金不怕火才智正确校准。GSM-Plus（数学鲁棒性测试）RL-Thinking达87.0%，接近Qwen3.5-9B-Thinking（90.7%）。

学问域是最昭彰的时弊：MMLU-Redux和GPQA Diamond上Qwen3.5系列最初显赫（91.1%/79.8% vs. 78.1%/40.9% Instruct），GPQA（琢磨生级科学问答）尤为昭彰，这径直反馈了锻真金不怕火数据倾向代码和拓荒者文档而非庸俗百科学问的量度。

对话域呈现存趣分化：JetBrains里濒临比Qwen2.5-7B-Instruct的配对胜率，Mellum 2-RL-Thinking以69.5%最初全组，高于Ministral-3-14B-Thinking（63.8%）和Qwen3.5-9B-Thinking（56.7%），证实在代码感知的拓荒者场景下，领域熟悉度飘浮为了确实上风。而在通用对话（IFEval、MixEval）上则居中。BS-Bench（测试对颠倒前提的反驳智商）上Mellum 2得分14-24，昭彰低于Qwen3.5系列（56-70），证实SFT/RL信号倾向慑服而非反驳，这是后续版块需要立异的标的。

安全域上，SFT-Instruct在HarmBench（无益率，越低越好）上以8.4%成为Instruct表格中最安全的模子，Ministral-3-14B（56.5%）和Seed-Coder-8B（40.0%）远高于此。RL变体雕残至23.1%，与偏好优化阶段减弱闭幕行动的已知征象一致，这是琢磨团队明确标注的待立异项。XSTest（安全合规率）上Mellum 2落伍最大基准模子约10个百分点，证实有些安全教唆被过度闭幕，与HarmBench雕残组成对称问题，需要合股优化。

**十一、跑得快才智留得住：推理效能的实测数据**

在实质部署速率测试中，整个对比在单张H100 GPU（80GB）上使用vLLM劳动和动态FP8量化，以代码补全分娩职责负载为代表性测试场景（平均输入2304词元，平均输出256词元），测试同步模式（单苦求串行蔓延）和吞吐量模式（并发高负载络续处理）。

赶走数据：同步模式下Mellum 2达192词元/秒，与Qwen2.5-7B的193词元/秒简直持平，Qwen3-8B独一169词元/秒。吞吐量模式下Mellum 2达5179词元/秒，比Qwen2.5-7B（4283词元/秒）高21%，比Qwen3-8B（2897词元/秒）高79%。络续苦求率离别是Mellum 2每秒20.2个苦求，Qwen2.5-7B每秒16.7个，Qwen3-8B每秒11.3个。这证实Mellum 2无缺达成了瞎想目的：单苦求蔓延匹配7B密集基准，并发劳动智商大幅最初。

**未来的路梵衲待措置的问题**

归根结底，Mellum 2是JetBrains在一个具体工程不停下的崇拜探索：给定一张普通显卡、一个速率预算，如安在这个不停下塞进尽可能多的智商。他们的谜底是120亿总参数、25亿活跃参数的MoE结构，加表层采用性滑动窗口精好意思力和多词元瞻望头。

这套决议在代码合成、器具调用、数学推理上阐述可不雅，在庸俗寰球学问和安全反驳上还有昭彰差距。琢磨团队莫得闪避这些时弊，何况明确指出了下一步标的：把模子推向更复杂的软件工程仓库级任务（SWE RL标的），扩大RL基础设施和环境障翳，以及重新注目长坎坷文中期锻真金不怕火数据的配方。此外，他们还盘算不才一个版块切换到无支持逝世的负载平衡决议，并重新评估搀杂精好意思力架构（如Gated DeltaNet）——前者跟着开源推理框架的救济迟缓熟习，后者在短坎坷文推理效能方面的罅隙也在跟着内核优化而缩小。

更永远地看，采用架构时以固定推理预算为不停条件的瞎想步伐，自身也为未来更大、依然表情推理效能的Mellum开放了门。整个基础、Instruct和Thinking搜检点都以Apache 2.0许可证开放，感意思意思的琢磨者和拓荒者不错通过arXiv编号2605.31268v1找到完整时间论说。

Q&A

Q1：Mellum 2的MoE架构和普通AI模子有什么区别？

A：普通模子每次处理都激活全部参数，而Mellum 2的MoE架构在64个"大师"中每次只激活8个，相当于领有120亿参数的学问储备，但实质运算量独一25亿参数级别。这让模子能在普通显卡上以较低的筹备老本提供更强的学问障翳，推理速率与7B密集模子相当致使更快。

Q2：Mellum 2的Instruct版和Thinking版有什么区别？

A：Instruct版径直给出谜底，不展示推理过程，得当需要快速响应的日常编程任务。Thinking版在恢复前会先生成一段里面推理链，类似于先在草稿纸上推演再写谜底，在数学竞赛题和复杂算法问题上阐述更好，LiveCodeBench上Thinking-SFT版块以75.1%最初整个对比模子。

Q3：Mellum 2的长坎坷文扩展是怎样作念到的？

A：琢磨团队选用了"层采用性YaRN"时间世界杯(中国)，只对全局精好意思力层调整位置编码频率，让滑动窗口层保持原参数，将坎坷文从8192词元扩展到131072词元（约128K）。短处发现是锻真金不怕火约300亿词元后质料就已接近上限，但路由器还在络续适应，因此将锻真金不怕火延长到1170亿词元闪开由器充分结识。