这项由快手集团Keye团队主导开辟的参谋效果，以时刻酬谢的形态于2026年6月发布，论文编号为arXiv:2606.10651，感兴味的读者不错通过该编号查阅完好原文。这份酬谢详备记录了Kwai Keye-VL-2.0-30B-A3B这一开源多模态大模子的完好时刻细节，模子权重已公开辟布在Hugging Face平台上。

你有莫得试过让一个AI助手帮你回归一部两小时的记载片，然后它告诉你它"只可看前几分钟"？这种令东谈主抓狂的局限性，恰是现时简直通盘视频通顺AI都濒临的中枢窘境。快手的参谋团队在这份酬谢里，详备领悟了他们是怎么打造出一款能够确实"看完"整部影片、况兼还能精细目位其中关节片断的AI系统。

从名义上看，Keye-VL-2.0是一个"多模态大模子"——这个词听起来很高妙，实质上即是一个既能看图、看视频，又能通顺翰墨、写代码、操作器用的AI助手。但它确实的罕见之处，在于它护士了两个经久困扰这类系统的根人性坚苦：一是如安在不把策动机搞崩溃的前提下处理超长视频；二是如安在教授AI万般新技巧的同期，不让它忘掉蓝本照旧掌持的才气。

联接整篇酬谢的中枢比方，不错用一位"全科医师"来通顺。又名优秀的全科医师不仅要有宽绰的常识面，还要能在海量的病历良友中连忙定位到关节信息，同期在学习新专科技巧时不可把原来学过的基础医学常识全部渐忘。Keye-VL-2.0的缱绻主张，恰是成为视觉寰宇里的这样一位全科医师。

一、为什么处理长视频这样难——以及快手团队找到的冲突口

要通顺这个问题，先来联想一下东谈主类念书的进程。读一册薄薄的小册子很简短，但淌若要你一语气把一套三十卷的百科全书都放进脑子里同期记着，你大要会平直宕机。AI处理视频濒临的挑战比这更极点：视频是由每秒数十张图片组成的，一部两小时的电影，即便以较低的采样频率截取帧，也会产生满坑满谷的图片需要分析。传统的AI重倡导机制（不错通顺为AI"目光聚焦"的方式）是让每一个信息片断都与其他通盘片断彼此对照，这会导致策动量跟着内容长度呈平方级增长——内容翻倍，策动量酿成四倍；内容翻十倍，策动量酿成一百倍。处理一小时视频的代价，会让绝大多数策动资源令人作呕。

快手团队的解法，是将DeepSeek公司开辟的一种叫作念"稀少重倡导"（DSA，DeepSeek Sparse Attention）的时刻，初度移植到多模态视觉通顺场景中。这是所有系统最中枢的时刻革命之一。

稀少重倡导的旨趣，类比到东谈主类阅读就很好通顺了。当你精读一篇长著述时，你不会让眼睛逐字盯着每一个字与著述里通盘其他字进行比对。你会先快速扫描，找到关节句子，然后在关节内容之间建立谈论。稀少重倡导作念的事情与此访佛：它起初用一个轻量级的"观望员"模块（论文中称为Lightning Indexer，闪电索引器）快速扫描通盘信息，策动出哪些位置的内容最值得重心饶恕，然后只在这些精选位置之间进行深度的重倡导策动。

具体来说，这个观望员模块承袭了一种叫作念MQA（多查询重倡导）的分享缱绻——它只用一组"眼睛"去扫描全文，而不是为每个信息片断都配一对独处的眼睛，大幅检朴了策动资源。扫描完成后，系统会为每个现时处理的信息点，从所有高下文中选出最关系的2048个"关节伙伴"进行深度饶恕，而不是与所罕有十万个内容点都进行对照。这样一来，蓝本O(L?)的策动复杂度就镌汰到了O(Lk)，其中L是总内容长度，k是固定的2048，且k远远小于L。

这里还有一个神秘的工程细节：快手团队的模子底座承袭的是GQA（分组查询重倡导）架构，而现存的稀少重倡导系统大多是为DeepSeek我方的MLA架构缱绻的，两者并不兼容。快手团队为此专诚开辟了GQA与DSA的适配决策，这在业界是初度。

为了让稀少重倡导学得稳、用得好，考验进程分红两个阶段。第一阶段叫"密集热身"：先保持原有的全量重倡导不变，专诚考验阿谁观望员模块，让它学会怎么识别哪些位置是确实迫切的。这个阶段用了约20亿个多模态考验样本，通过让观望员的判断尽量迫临全量重倡导的散播（用KL散度这一数学方针来揣测差距并最小化它）来完成考验。第二阶段叫"稀少得当"：把所有模子的参数全部解冻，切换到确实的稀少模式，让全局模子学会依赖这个观望员来责任，同期不绝用下一个词展望的表率话语模子主张进行考验。

最终效果格外可不雅：在128K高下文长度下，与表率全量重倡导比较，预填充（处理输入内容）的策动代价只须原来的32%，解码（生成输出内容）的代价只须原来的20%。这使得处理256K长度的超长视频高下文变得实验可行。

二、模子的"体格构造"——四大中枢组件怎么勾通

Keye-VL-2.0的举座架构，不错比作一套高度专科化的信息处理活水线，由四个中枢部件组成。

第一个部件是视觉编码器（ViT），认真把图片和视频帧"翻译"成AI能通顺的数字信息。快手团队为它缱绻了"原生疏辨率"编码才气。以往的视觉AI泛泛有一个固定的"倡导范围"，通盘输入的图片都必须先缩放到吞并个表率尺寸，这就像将就一个倡导平素的东谈主弥远戴着度数分歧的眼镜看寰宇——好多细节会因为缩放而丢失或变形。Keye-VL-2.0的视觉编码器不错平直处理淘气分辨率和淘气宽高比的图片，不需要剪辑或拼接，保留原始图片中的通盘信息。这关于阅读文献、识别图表中的小字、以及通顺视频中的场景细节来说至关迫切。

为了搭救这种活泼性，编码器引入了两项时刻改进。其一是自得当位置编码：原始的位置信息是固定的，通过插值措施让它能够跟着输入图片的大小自动缩放。其二是2D旋转位置编码（2D RoPE）：这种编码方式能更好地捕捉图片中的二维空间关系，尤其在处理超高分辨率图顷刻发扬更踏实。此外，考验时还承袭了序列打包时刻，把不同尺寸的图片拼在所有处理，幸免策动资源的虚耗。视觉编码器本人在五千亿个图文对上预考验，且使用了与下贱多模态任务雷同的数据散播，减少了预考验和实验使用之间的散播鸿沟。

第二个部件是话语解码器（LLM），也即是认真通顺和生成翰墨的中枢"大脑"，承袭了阿里巴巴Qwen团队的Qwen3-30B-A3B-Thinking模子作为底座。这里有个数字值得饶恕：模子参数总量是300亿，但实验运行时只激活30亿个参数。这是因为底座承袭了MoE（搀杂群众，Mixture of Experts）架构——把模子联想成一个由许多"专科医师"组成的团队，每次碰到问题，只召唤最关系的几位群众来诊断，而不是让通盘医师都全程参与。这样既保留了大模子的常识容量，又大幅镌汰了运行老本。

第三个部件是MLP投影器，上演的是"翻译官"扮装，专诚认真把视觉编码器输出的"图像话语"鼎新成话语解码器能听懂的"翰墨话语"，使两个模块之间能顺畅疏导。

第四个部件即是前文详备先容的稀少重倡导模块，为所有系统提供处理超长高下文的才气撑持。

三、视频通顺的统一政策——怎么让AI通顺"时辰"

在具体处理视频时，快手团队承袭了一套统一的编码政策，背后有几个值得细说的缱绻念念路。

关于图片，系统平直按照原始分辨率编码，无需任何剪辑或缩放处理，视觉信息的完好度得到最大保留。

关于视频，团队选拔了一种看起来通俗但实验相当有用的作念法：把每一帧视频都行为一张独处的高分辨率图片来处理，然后在每帧图片的视觉信息前边，荒谬加上一个当然话语形态的时辰戳翰墨证明。比如"第00:02:35帧"这样的标注。这种缱绻的神秘之处在于，时辰信息被转化为了话语模子最擅所长理的翰墨形态，让模子在作念时辰定位和跨帧推理时不错平直借助其无边的话语通顺才气，而不需要荒谬缱绻专诚的时序处理模块。

针对不同长度视频的处理，团队还缱绻了自得当像素预算机制。短视频的信息相对密度高但重叠性也高，长视频需要保留更多关节笔据。因此系统会根据视频时长动态颐养每帧分派的像素数目：256秒以内的短视频只用完好预算的12.5%，512秒以内用25%，1024秒以内用50%，2048秒以内用100%，越过2048秒的视频则使用完好基础预算。这套机制确保了在固定策动资源敛迹下，处理效果能随视频长度而合理膨胀。

四、四阶段预考验——从零到能干的"修王人道路图"

Keye-VL-2.0的预考验进程分为四个阶段，就像一位学徒从初学到兴师的成长历程，每个阶段有明确的学习主张和数据配方。

第零阶段叫"投影器启动化"，是所有考验的热身准备。这个阶段把视觉编码器和话语解码器都冻结，只考验中间的"翻译官"投影器，让它学会把视觉信息映射到话语模子的通顺空间。使用的数据包括图文配对态状和交叉陈设的图文搀杂内容，数据鸿沟约40亿个考验样本，最大序列长度8K。这一步格外于先买通两个模块之间的通信频谈，再着手确实的合股考验。

第一阶段是"通用多模态预考验"，通盘参数全部解冻，在约1万亿个考验样本上进行大鸿沟考验，最大序列长度膨胀到32K。这个阶段的考验数据涵盖了图文配对态状、交叉图文内容、交叉视频翰墨内容、纯翰墨问答，以及无数OCR（翰墨识别）数据。视频数据在这个阶段以15秒短片为单元进行学习，每段视频配有对应的翰墨态状，组成多模态序列。为了莳植来自相聚的开源数据集（LAION、DataComp、COYO、CC12M等）中图文态状的质料，团队承袭了两种政策：一种叫Recaption，平直用专科的态状生成模子从头生成更高质料的态状；另一种叫Remake，在原有态状的基础上校正语法和抒发失实，但不调动其语义。这个阶段的中枢主张是建立踏实的视觉-话语对王人基础。

第二阶段是"多任务才气注入"，高下文长度进一步膨胀到64K，考验鸿沟约2万亿个样本。这个阶段的重心是向模子注入万般专科才气：高档OCR才气通过真实样本（包括收条、各种图表）和合成样本（从XML模板生成，并叠加拖沓、光照变化、褶皱、手写变化等数据增强）的结合来考验；数学与STEM才气通过涵盖几何图形、函数图像、实验安装、化学公式和科学图表的视觉题目来培养，并用LLM自动考证谜底质料；图形界面通顺才气（GUI）通过屏幕截图、控件元数据和交互语义数据来考验，为后续的页面操作和导航任务打基础；定位与计数才气通过合成的实例粘贴数据来考验，从COCO和OpenImages数据集合取出候选物体，粘贴到配景上并生成精准的领域框和数目标注；此外还有通用视觉问答、电商产物通顺，以及将英文数据翻译成汉文以增强汉文障翳的数据。纯翰墨数据在这个阶段也不绝保留，包括数学推理、代码、器用调用轨迹、搜索与检索增强生成示例，目的是防御多模态考验侵蚀话语才气基础。

第三阶段是"长高下文膨胀"，将最大序列长度推到了256K，视频处理时长从15分钟膨胀到2小时。长高下文样本与短高下文样本以1:1的比例搀杂，确保模子在获取处理超长内容才气的同期不退化老例任务性能。考验数据障翳长视频、长文档、多文档输入、跨页面多图对话、长代码高下文，以及长程Agent轨迹（需要跳跃屡次器用调用称许任务情状）。这个阶段的主张不仅是"放大高下文窗口"，更是考验模子确实具备在超长内容中进行检索、团聚和跨位置推理的才气。

在视频预考验的课程缱绻上，团队还引入了两个罕见的数据构造措施。其一是"场景级密集态状"：将视频按场景领域分割，为每个场景生成带时辰戳的详备翰墨态状，同期生成整视频的全局概览，匡助模子学习场景领域识别和时辰对王人才气。其二是万般化的"时序视频定位"数据，参考ETBench基准构建，涵盖援用动作识别、视频高光检测、索要式视频选录和时辰事件匹配等任务，从不同角度提供时辰感知和时辰推理的监督信号。

五、后考验阶段——打磨成群众的精细工序

预考验完成后，模子格外于一位博览群书但还不太会与东谈主交流的学者。后考验阶段的任务，是把这位学者打磨成一位能够通顺对话、独处决策、多领域勾通的群众参谋人。

后考验的第一步是监督微调（SFT），使用了约5000亿个考验样本的领导数据集，障翳翰墨、视频、感知、推理、Agent和长高下文等类型。其中约40%是纯翰墨数据，用于锚定通用领导奴隶和翰墨推理才气。

在这个阶段，团队构建了一套"合成念念维链"（Synthetic CoT）数据。由于大多数多模态领导数据只提供最终谜底，缺少对中间推理进程的监督，团队用无边的教练模子为高质料问答对生成推理进程，然后通过查询级、回复级和进程级的多重质料查验进行过滤。关于数学任务，还荒谬引入了"Doubt2Clean"二次审查，世界杯官网线上平台在27个数据集上清洗可疑的念念维链样本。视频数据在这一阶段有罕见的缱绻：部分样本以多选题形态呈现，要求模子在念念考阶段考证候选时辰片断，并在最终谜底中同期输出谜底选项和撑持时辰区间，形态为[[分钟， 分钟]， ...]，将就模子养成从一语气视频中定位关节笔据的风气。

六、强化学习矩阵——让AI在"试错"中成长

后考验阶段的第二大救援是强化学习（RL），这是Keye-VL-2.0才气跃升的关节引擎。快手团队缱绻了一套线索分明的强化学习体系，从合成数据RL、通用RL、专项RL到视频RL和Agent RL，头重脚轻紊。

合成数据强化学习的中枢念念路，是用范例自动生成考验题目，从而获取可自动考证的奖励信号，无需东谈主工标注。具体作念法是给模子展示两张图片，其中一张在另一张基础上进行了受控修改，要求模子找出通盘变化。由于修改内容是范例精准铁心的，对错判断不错完全自动化。任务分为两类：定位类任务要求展望变化区域的领域框，结构类任务要求用领域专用态状话语输出对应的操作王人集，障翳几何图形、化学式、物理电路等结构化场景。为了防御模子走捷径（比如平直作念像素级差分比较），考验中还刻意引入了与变化无关的侵扰——花样抖动、布局扰动、槽位打乱、语义无操作变化、视角变化等，迫使模子确实通顺语义变化而非名义变化。

通用强化学习在监督微合股蒸馏完成后进行，专注于带有可考证表率谜底的任务，包括通用视觉问答、STEM推理、图表通顺、数学和逻辑推理。考验算法承袭了阿里巴巴Qwen团队暴虐的GSPO（分组序列政策优化），其中枢念念想是对吞并个问题生成多个回复，用这些回复之间的相对证料各异来策动上风值并优化政策，而不是单纯追求每个回复的十足正确率。奖励系统分为四层：形态奖励确保输出可被融会，收尾奖励考证最终谜底是否正确，进程奖励处分推理中的事实失实和逻辑破绽，而ContextRL奖励则通过将生成的回复与经过考证的参考解进行比对，来减少"谜底对但推理错"这种乌有阳性问题。

专项强化学习针对五个垂直领域分裂考验了群众模子：定位群众通过归一化领域框展望和匈牙利匹配奖励来强化精准主张定位才气；空间群众面向空间关系通顺，因为许多空间问题莫得通俗细目性谜底，承袭了生成式模子评判打分（-1/0/1三档）；数学群众用标识等价奖励考证数学题的正确性；计数群众承袭精准数字匹配奖励处理视觉计数任务；OCR群众用归一化文本匹配奖励（对大小写、空格和标点进行归一化后比较）来强化翰墨识别才气。这些群众模子的主张不是成为最终产物，而是成为后续才气蒸馏的优质教练。

视频强化学习在通用RL查验点基础上，用约31000个视频样本不绝考验，同期冻结视觉编码器和投影器只更新话语模子部分。考验任务包括时序视频定位（用时辰IoU作为奖励）、时序密集态状（用LLM评判主体识别、动作态状、场景信息、OCR翰墨、时序公法、幻觉和障翳率等多个维度）、帧级感知、视频问答、时序排序和事件计数。此外还引入了FrameForge合成视频，提供时辰戳定位、计数、前后推理和共现推理的可范例考证监督信号。这个阶段约带来1个百分点的通用视频基准性能莳植。

Agent强化学习障翳代码、器用调用和搜索三类任务。在代码主张，系统使用在线判题（Online Judge）和软件工程两类环境：在线判题通过编译和荫藏测试用例判断范例正确性；软件工程任务在容器化环境中评估仓库级别的问题护士，模子需要检察日记、运行测试、编著文献、提交补丁，奖励基于测试套件通过情况。关于仓库级任务，还缱绻了多审查员Agent勾通的考证集成公约。器用调用考验障翳越过150个模拟API域，随即化器用和参数称号以减少对回想特定API形态的依赖，培养通用器用调用才气。搜索任务通过多轮检索交互考验，奖励以最终谜底正确性为主，中间检索收尾的轻量考证信号作为缓助。

为了处理长程交互中轨迹长度不均一的问题，三类Agent任务都承袭了分享的"部分轨迹共置"机制：未完成的轨迹被缓存恭候下一轮不绝，完成的轨迹组立即用于GSPO更新，确保策动资源不因恭候而虚耗。

七、跨模态多教练在线蒸馏——护士"学新忘旧"坚苦的关节

在完成上述通盘专项强化学习之后，一个毒手的问题出现了：每种专项考验都会让模子在该领域有所莳植，但各领域之间可能产生侵扰。比如数学推理RL考验完后，模子可能输出变得过于简短；Agent考验完后，模子可能在不需要器用的场景里也时常插入器用调用形态。平直把所罕有据混在所有考验，则容易因为任务主张彼此冲突而导致各领域同期雕残。这即是参谋团队所说的"多模态对王人窘境"。

快手团队的解法叫作念"跨模态多教练在线蒸馏"（MOPD）。打一个比方：假定你同期在向一位钢琴憨厚、一位英语憨厚和一位数学憨厚学习，每位憨厚都在各自领域给你概括的疏导，你需要把三位憨厚讲授的常识整合进我方的大脑而不让它们彼此冲突。MOPD作念的恰是这件事。

系统称许了13个经过领域专项RL考验的教练模子，障翳安全、纯翰墨数学、领导奴隶、代码、视觉STEM、OCR、定位、计数、视频、器用调用等多个领域。关于每一个考验样本，系统根据其模态和任务类型，自动路由到最匹配的教练模子。学生模子（也即是Keye-VL-2.0本人）先按照我方现时的政策生成一个回复，然后被路由的教练模子对学生回复中的每一个词（token）提供精细的概率散播反应，疏导学生在哪些位置应该更接近教练的散播。

为了让蒸馏信号更踏实，系统只在教练和学生都以为确实的词汇范围内（即两者TopK展望词的错乱）策动反应，幸免在两边都不细目的低概率词上引入噪声。学生模子用上风加权的政策梯度主张进行优化，同期还有两个荒谬的细节处理：针对不同词的类别（形态词、感知词、推理词）施加不同的上风权重，镌汰形态词的权重以防御形态化问题压制实质内容的学习；关于长文本生成中出现的重叠坍塌景象，只在坍塌发生位置之后施加处分，而不是对所有回复都扣分。

这一套MOPD机制的另一个工程挑战是：学生和教练必须在完全雷同的输入预处理条款下运行，不然即使吞并张图片，经过不同处理后对应的词序列可能不同，反应信号就会错位。团队为此专诚缱绻了严格的预处理对王人考证系统，涵盖图片token数目、视频帧采样方式、对话模板形态和旋转位置编码等通盘可能导致错位的成分。

八、推理侧的工程优化——让一切在实验部署中跑得起来

表面上再好意思妙的缱绻，淌若部署时慢得令东谈主抓狂，也仅仅空中楼阁。快手团队在推理系统上也作念了无数针对性优化。

针对超长视频推理，系统引入了三项关节优化。第一是"分块ViT"：把视频帧分红小批次，由视觉编码器公法处理后再合并，显赫镌汰了显存峰值占用，且不调动模子输出收尾。第二是稀少重倡导的相邻查询去重：相邻查询不时选拔高度相似的Top-k关节值王人集，通过对相邻查询的Top-k王人集进行去重，并在重倡导策动核内使用MMA线程布局感知掩码，在128K高下文和topk=2048的配置下，16个相邻查询实验只需处理约8000个有用Key-Value对（而不是16×2048=32768个）。第三是解码优化：DSA特定的解码优化使得在128K高下文下，与表率全量重倡导比较，预填充代价镌汰到32%，解码代价镌汰到20%。

在预考验系统侧，团队引入了ExtraIO异步I/O就业，把视频解码和帧采样的责任从考验主轮回中剥离出来，通过水平可膨胀的独处就业异步提供数据，摒除了I/O瓶颈。此外，视觉编码器和话语解码器固然分享吞并组GPU，但承袭独处的并行分片政策，幸免了两者性能特征各异导致的负载不平衡。通过在多模态Token级别和话语模子样本级别两个线索进行负载平衡，端到端考验婉曲量莳植了约20%。

在RL考验中使用DSA时，为了确保考验和推理阶段Top-k收尾完全一致（幸免考验-推理不一致问题），团队用flashinfer.topk替换了torch.topk，在保持细目性的同期达成了2-3倍速率莳植。

九、全面评测——获利单上的关节数字

在视频通顺主张，Keye-VL-2.0-30B-A3B在多个迫切基准上取得了率先发扬。在LongVideoBench（专诚评估长视频话语推理才气）上得分74.1，越过Qwen3-VL-235B-A22B（一个参数目是其近8倍的模子）的70.5；在Video-MME-v2（评估全模态信息团聚和复杂推理的新基准）上，512帧设立下的准确率42.4和非线性评分24.2，都显赫率先同等鸿沟的竞争敌手。

时序定位主张的发扬尤其杰出。在TimeLens框架（对ActivityNet Captions、QVHighlights和Charades-STA从头清洗标注的高质料评测框架）上，Keye-VL-2.0在全部三个子集上都取得最高mIoU（时辰交并比）：ActivityNet-TimeLens 58.5、QVHighlights-TimeLens 70.1、Charades-TimeLens 58.4，均率先参数目更大的Qwen3-VL-235B-A22B（对应得分52.1、64.6、47.8）以及Gemini-3-Flash（对应57.0、49.5、61.2，其中Charades子集Gemini得分较高）。在Video-MMMU（评估模子从教授视频中学习并垄断领域常识的才气）上得分80.0，与同级别最强模子持平，接近闭源模子GPT-5-mini。

代码与软件工程主张，LiveCodeBench v6得分64.2，OJBench（在线判题格调的算法题）得分71.5，SWE-bench Verified（仓库级问题诞生）得分62.0，在开源模子中处于第一梯队。器用调用主张，在τ?-Bench和VitaBench上取得最高分，在BFCL-V4上名纪律二。

通用视觉话语才气方面，在WeMath视觉数学推理上得分75.8，DynaMath上80.9，AIME2025上86.7，AME2026上93.3，OCRBench上85.7，OmniDocBench上89.0，HallusionBench（视觉幻觉诊断）上73.5，FSC-147计数任务上28.0，EmbSpatialBench空间通顺上83.2，PixMo-Count上87.9。这些数字描述出一幅全面平衡的才气图谱，莫得通晓的短板领域。

归根结底，Keye-VL-2.0-30B-A3B的赞佩不单在于几个基准上的数字率先。它更迫切的示范价值在于：用相对有限的激活参数目（30亿），通过全心缱绻的架构革命和分层考验政策，在超长视频通顺和多领域Agent才气上同期达到以致超越了参数目更大的模子。它评释了稀少长高下文建模和全心缱绻的多阶段强化学习，不错被整合进一个单一可部署的MoE系统，而无须在通用推理才气上作念出谐和。

关于普通用户而言，这意味着明天的AI助手有望确实帮你"看完"一部记载片并作念出有实质赞佩的回归，帮你在数小时的会议摄像中精准找出你想要的那段对话，或者在复杂的多门径任务中连续保持情状而不半途迷失。快手团队也在酬谢中明确示意，他们下一步的主张是把这套才气深度融入保举、内容生态护士、贸易定向等实验业务场景，以及开辟视频与Agent勾通的责任流。这标明该参谋不是停留在实验室里的时刻演示，而是有明确落地旅途的工程履行。

关于参谋东谈主员而言，这份酬谢提供了无数可参考的时刻细节，从GQA兼容的DSA适配决策、两阶段稀少重倡导考验政策、自得当像素预算缱绻，到MOPD的多教练路由机制和ContextRL奖励缱绻，每一个模块都有详备的公式推导和工程达成证明。有兴味长远参谋的读者，不错通过论文编号arXiv:2606.10651查阅完好时刻酬谢，或赶赴Hugging Face的Kwai-Keye主页下载开源模子权重自行实验。

Q&A

Q1：Keye-VL-2.0是什么类型的AI模子，和普通的聊天AI有什么不同？

A：Keye-VL-2.0是快手开辟的多模态大模子，意味着它不仅能通顺翰墨，还能看图片、看视频，况兼能写代码、调用器用。和普通聊天AI最大的区别在于它能处理长达两小时的视频内容，精细目位视频中的关节片断，而不是只可处理几秒或几分钟的短视频。它的参数总量是300亿，但运行时只激活30亿，部署老本相对较低。

Q2：DeepSeek稀少重倡导机制在Keye-VL-2.0里是怎么责任的，为什么迫切？

A：稀少重倡导的中枢念念路是先用一个轻量级"观望员"模块快速扫描通盘视频帧和翰墨内容，选出最关系的2048个关节位置，然后只在这些位置之间进行深度策动。传统全量重倡导是让通盘内容彼此对照，策动量随长度平方增长；稀少重倡导将其镌汰到线性增长，使处理256K超长高下文成为可能。在128K长度下，预填充策动代价只须传统方式的32%，解码代价只须20%。

Q3：多教练在线蒸馏（MOPD）护士了什么具体问题，怎么通顺它的责任旨趣？

A：MOPD护士的是"学新忘旧"问题——在给模子注入代码、视频通顺、器用调用等新才气时世界杯官网线上平台，不时会叨唠它蓝本的数学推理或领导奴隶才气。MOPD的作念法是称许13个不同领域的群众教练模子，对每个考验样本自动匹配最妥贴的教练，让教练对学生生成的每个词提供细粒度的概率反应。这样各领域的常识通过专属教练独处传递，再集聚进吞并个MoE主模子，幸免了平直搀杂考验时的彼此侵扰。