这项由浙江大学、新南威尔士大学（UNSW）、Data61/CSIRO和百度集合完成的商议，以预印本局势发布于2026年6月9日，论文编号为arXiv:2606.10671，题为《FadeMem: Distance-Aware Memory Consolidation for Autoregressive Video Diffusion》。感兴致的读者可通过该编号在arXiv平台查阅完好意思论文。

要是你也曾用AI器具生成过一段视频，你梗概会端庄到一个令东谈主捏狂的问题：视频开头出现的那只猫，没过几秒钟就暗暗变了个面容，颜料变了，耳朵阵势变了，甚而在某些片断里径直散失了。这不是AI在"线路创意"，而是一个深层的时期裂缝——AI在生成后续画面时，还是"健忘"了最初始画的那只猫长什么样。

这个问题在生成短视频时还凑合不错接管，但当咱们想让AI生成一分钟乃至更长的视频时，这种"失忆症"就酿成了苦难性的隐患。这恰是浙大团队试图处置的中枢问题，他们的处置决策叫作念FadeMem，一个让AI领有"分层顾忌"的机制，而这套机制的灵感来源，正好和东谈主类大脑处理顾忌的方式惊东谈主地相似。

一、为什么AI生成长视频时会"失忆"

要阐明这个问题，先来望望当代AI视频生成器是何如职责的。目下最先进的视频生成AI并不是连系把整段视频齐"想好"再输出，而是像讲故事一样一段一段地生成，每生成一小段新内容时，齐要回头望望之前还是生成了什么，以此保持连贯性。这种方式叫作念"自总结生成"，不错类比为一个东谈主在竭力写演义——每位接棒的作家齐要先读一读前边的章节，才调保证故事不跑偏。

在时期层面，这种"回头看"的操作是通过一个叫作念KV缓存的机制完了的。K代表Key（键），V代表Value（值），你不错把它阐明成一册储存曩昔画面"印象摘录"的记事本。每生成一帧新画面，AI齐会往这本记事本里翻一翻，阐述主角的脸型、场景的色彩、通顺的标的，然后再画下一帧。

问题在于，跟着视频越来越长，这本记事本会变得越来越厚。存储和查阅的资本呈线性增长，很快就会超出盘算机的处理才调。这就像让一个东谈主在写第100章演义时，免强他把前99章全部倒背如流——任何东谈主齐会崩溃。

现存的处置决策大约分为三类。第一类是"滑动窗口"：只记着最近几帧，更远的全部丢弃，终点于那位接棒作家只读临了一页就初始写；第二类是"保留开头"：弥远保留最初始几帧行为"锚点"，驻扎主角举座跑偏；第三类是"压缩顾忌"：把辽远的历史帧压缩成几个关节词式的摘录情景，塞进缓存里。这些秩序各有侧重，但齐存在一个根人性的局限：它们对顾忌的处理方式是固定的、机械的，不会把柄内容距离现时时刻的遐迩来活泼换取顾忌的细腻进程。

二、东谈主类的渐忘弧线给了商议者一个关节启发

在入辖下手遐想处置决策之前，浙大团队先作念了一件很有利思意思的事：他们系统分析了长视频中帧与帧之间的有关性是怎样随时辰衰减的。

具体来说，他们把每一帧视频编码成一个抽象的数学示意，然后把这个示意剖析成不同的"频率因素"。低频因素对应画面中大领域的举座信息，比如场景的举座布局、主角的轮廓阵势、画面的举座色彩；高频因素则对应细节信息，比如毛发的纹理、穿戴上的褶皱、水面的微细激荡。

分析放置澄澈地揭示了一个法律解说：帧与帧之间的有关性会随时辰距离增大而下跌，但下跌速率在不同频率因素之间存在权臣相反。高频细节衰减得极快，两帧之间只消隔了一段时辰，细节上的有关性就还是一丁点儿；而低频的举座结构衰减得很慢，即就是相隔很远的帧，在场景布局和主角身份这类大轮廓信息上，仍然保有终点进程的有关性。

更有利思意思的是，商议团队进一步分析了"沉稳频率半径"随时辰距离的变化趋势——也就是说，在某个给定的时辰距离下，哪些频率因素仍然保持沉稳有关。放置发现，这个沉稳频率半径随时辰距离增大而减弱，况兼减弱的方式大约顺从一个幂律推敲，用公式示意就是r*(t) ∝ t^(-b)，其中b是一个限制衰延缓度的参数。

这个发现和东谈主类顾忌中闻明的渐忘弧线不谋而合。咱们对昨天发生的事情铭记很了了，包括细节；对一年前某天发生的事情，细节还是依稀，但大事件的轮廓还在；对十年前的顾忌，大多只剩下关节节点和举座印象。不同的是，东谈主脑的渐忘是被迫发生的，而FadeMem要作念的是主动管制这种分层渐忘——把有限的顾忌空间，按照"越近越细、越远越粗"的原则合理分拨。

由此得出的遐想形而上学终点直不雅：既然辽远的历史帧只需要保留粗粒度的结构信息，那咱们就没必要为它们保留完好意思的细腻记载；而近处的历史帧对现时生成至关进军，需要保留尽可能丰富的细节。这个原则，就是FadeMem全部遐想的起点。

三、FadeMem是怎样组织这本"顾忌账本"的

FadeMem的中枢念念路不错用一个藏书楼的比方来阐明。假定一个藏书楼的书架空间是固定的（对应固定的缓存预算M），需要存放束缚涌入的新书（对应每个时刻重生成的视频帧的KV数据）。对于刚入库的新书，管制员给每本书单独分拨一个书架格子，保留完好意思内容；而对于入库已久的古书，管制员会把内容掌握的几本书合并成一册精华摘录，腾出版架空间给新书。统统这个词书架上的内容，从右侧（最近入库）到左侧（最早入库）呈现出从"细腻"到"油滑"的梯度变化。

在时期完了上，FadeMem把缓存中的每一笔顾忌称为一个"要求"。每个要求不仅存储了KV数据自身，还捎带两个轻量级的元数据：一个是这个要求所代表的时辰位置（用μ示意），另一个是这个要求悉数隐敝了若干个生成单位（用s示意）。新插入的要求s=1，意味着它代表一个精准的历史时刻；经过合并的要求s会增大，意味着它是对一段历史区间的综合摘录。

每当AI生成了新的一帧或一组帧，FadeMem率先把对应的KV数据行为新要求追加进来。此时要是要求总额超越了预设的上限M（论文默许使用12个历史要求），FadeMem就会触发一次合并操作，为下一轮生成腾出空间。

合并操作的采取计谋是统统这个词机制的精髓地点：FadeMem不是随即合并，也不是肤浅地丢弃最旧的阿谁，而是通过一个幂律变换来掂量相邻要求之间的"感知距离"，然后合并感知距离最小的那一双相邻要求。

具体来说，对于每个要求，先盘算它离现时生成时刻的执行时辰距离d，然后把这个距离作念一个幂律变换：u(d) = d^β，其中β是一个介于0到1之间的限制参数。这个变换把时辰轴"诬蔑"了——在诬蔑后的空间里，近处的要求之间显得间距很大（烦懑易被合并），辽远的要求之间显得间距很小（容易被合并）。算法采取在诬蔑后空间里间距最小的那对相邻要求进行合并，自但是然地就完了了"优先合并辽远的历史、保留近处历史的细腻度"这一主义。

两个要求合并时，生成的新要求的时辰位置μ_new取两者时辰位置的跨度加权平均，新要求的KV数据也取两者KV数据的跨度加权平均。跨度s_new等于两者跨度之和，记载这个摘录要求隐敝的历史长度。统统这个词合并历程是在线进行的，每一步生成只需作念一次合并操作，盘算资本极低。

此外，FadeMem还配置了两个领域保护规则：最重生成的要求不会被立即合并，确保最崭新的历史信息至少存活一个生成阵势；最早生成的第一帧要求默许受到保护，行为"全局锚点"永远留在缓存里，驻扎视频的举座身份和场景在漫长的生成历程中富裕漂移。这两条文定并不需要稀奇的机制，世界杯官网线上平台它们齐在淹没个有序的顾忌结构里当然完了。

对于使用旋转位置编码（RoPE）的模子，FadeMem还作念了终点处理：存储时先去掉KV数据中已编码的位置信息，使用时再把柄要求的代表时辰位置再行编码。这么作念是因为要是把两个不同时期位置的KV数据径直平均，位置信息会彼此烦嚣产生脱落；解耦存储和位置编码则保证了合并后的要求在被模子使用时仍然具有正确的时序信息。

四、实验放置：FadeMem果然让视频"记性更好"了吗

商议团队在Wan2.1-T2V-1.3B这个视频生成模子上完了了FadeMem，并在LongLive自总结视频生成框架上进行评测。评测任务是生成60秒长度的视频，分辨率480×832，帧率16FPS，使用MovieGenBench基准测试采集的128个教唆词。评测方针罗致VBench-Long体系，涵盖主体一致性、布景一致性、通顺畅通度、动态进程、好意思学质地和画质六个维度，并稀奇使用谷歌Gemini 3.1-Pro大模子进行视觉沉稳性的主不雅评分。

商议团队陈诉了两个变体。FadeMem-TF是纯推理时版块，不需要对模子作念任何稀奇锤真金不怕火，径直替换原有的缓存管制方式。FadeMem-FT则在FadeMem-TF的基础上进行了轻量级微调，让模子在锤真金不怕火阶段就习尚了分层顾忌的拜谒模式。

在统统基线秩序中，Self Forcing的举座平平分为78.64，LongLive为80.55，MemFlow为80.59，Deep Forcing为79.44，MemRoPE为80.39。FadeMem-TF在不进行任何稀奇锤真金不怕火的情况下达到了80.45的平平分，在主体一致性（97.74）、布景一致性（96.43）和通顺畅通度（98.93）三项方针上达到或并排现时最优水平。加入轻量微调后，FadeMem-FT的平平分进一步进步至81.03，在主体一致性（97.77）、布景一致性（96.56）、画质（70.72）和总体平均四项方针上均居统统秩序之首。

在Gemini 3.1-Pro的主不雅视觉沉稳性评分上，FadeMem一样以4.84的得分高于MemRoPE的4.80、MemFlow的4.77、LongLive的4.74和Deep Forcing的4.51，获得统统秩序中的最高沉稳性分数。

定性对比的放置也终点直不雅。商议团队使用了一个挑升遐想的挑战性教唆词："沿路闪电击中湖中央的一只乌龟，把它坐窝酿成了一只鳄鱼。"这个教唆词的难度在于，主体的外不雅在视频早期就发生了一次根人性的变化，后续漫长的生成历程需要一直记着"当今它是鳄鱼，不是乌龟"这个已诞生的事实。

在LongLive和MemFlow生成的视频中，跟着视频插足40秒、50秒阶段，乌龟的特征初始再行出当今主体身上，变身的效能渐渐被"隐敝"。在Deep Forcing和MemRoPE生成的视频中，鳄鱼的举座身份得到保管，但细节渐渐依稀。FadeMem生成的版块则在统统这个词60秒内接续保管了变死后的鳄鱼身份，同期在水面反光、风暴场景的举座氛围等细节上也保持了更高的一致性和信得过感。

五、细节决定成败：三个遐想采取的消融实验

为了考证FadeMem中每个遐想采取的价值，商议团队进行了系统性的消融实验，一一测试不同的幂律指数β、不同的合并算子以及是否保留第一帧全局锚点的效能。

对于幂律指数β，商议团队测试了从0.1到0.9五个取值。跟着β增大，动态进程和举座平平分有所进步，但主体一致性和布景一致性有所下跌。β=0.9时举座加权平均最高（80.65），但在定性不雅察中发现视觉轨迹的沉稳性和身份保留效能更差，讲明自动方针并未富裕捕捉到视频质地的统统维度。商议团队综合考量后采取β=0.3行为默许值，因为它在主体一致性和布景沉稳性上的推崇最优，最安妥"生成长视频时保持身份和场景沉稳"的中枢主义。

对于合并算子，商议团队相比了四种方式：采取距离最近的单个要求（Select Nearest，即丢弃另一个）、肤浅等权平均（Average）、跨度加权平均（Weighted Average）以及逐元素最大值（Max Pooling）。Max Pooling的推崇最差，动态进程仅有10.47，画质也严重下跌，讲明对KV数据作念逐元素取最大值会严重碎裂信号结构。Select Nearest在主体一致性上略占优，但动态进程和画质显着低于平均类秩序，讲明径直丢弃一个历史要求会亏损有用的历史信息。肤浅平均和加权平均推崇接近，加权平均以幽微上风胜出，因此行为默许采取。

对于第一帧全局锚点，去掉它之后，主体一致性（98.01）和布景一致性（96.74）以及通顺畅通度（99.01）反而略有进步，但动态进程从39.09骤降至28.88。这讲明，莫得第一帧锚点时模子生成的视频在通顺上变得过于保守，动态变化减少——模子为了保管一致性，干脆减少了动态内容。保留第一帧锚点在提供全局参照的同期，也为模子提供了生成丰富通顺内容的"底气"，两者之间获得了更好的均衡。

说到底，FadeMem作念的事情其实不错用一句话笼统：按照"越旧越笼统，越新越细腻"的原则，在固定大小的顾忌账本里，把有限的顾忌空间分拨给最值得细腻顾忌的内容。这个念念路既有严实的表面依据（视时时率有关性的幂律衰减），又有简易的工程完了（单一有序的合并机制），不需要为"近期顾忌"和"远期顾忌"分袂珍视两套孤独的系统，也不需要修改模子架构。

这对平淡用户而言意味着什么？当你用AI生成一分钟的视频，要求主角在开头作念出某个动作或外貌变化，并但愿这个变化在视频扫尾仍然澄澈可辨时，FadeMem这类机制让这件事在盘算资源固定的条件下变得愈加可靠。固然，这项商议也坦诚地指出了自身的局限：FadeMem的顾忌分拨计谋是预设固定的，对于包含顷刻间场景切换或高速通顺的视频，固定的幂律分拨可能并不是最优决策，改日不错探索内容自安妥的动态分拨计谋。此外，FadeMem处理的是缓存的组织方式，无法弥补底层生成模子自身在语义阐明或物理学问上的先天不及。

归根结底，长视频生成的连贯性问题不仅仅"存若干历史"的问题，更是"怎样存历史"的问题。FadeMem给出的这个谜底——用衰减式的分辨率梯度管制有限的顾忌空间——为这个标的提供了一个值得连续深切探索的念念路。有兴致深切商议这一课题的读者，不错通过arXiv编号2606.10671查阅完好意思论文和时期细节。

Q&A

Q1：FadeMem和平淡滑动窗口缓存有什么本色区别？

A：平淡滑动窗口只保留最近几帧，更早的全部丢弃，终点于顾忌里惟一昨天，前天以前一律抹去。FadeMem则是把辽远的历史"压缩"而非"删除"，辽远的帧会被合并成油滑的摘录要求，仍然占据缓存里的一个席位，仅仅细腻进程裁汰了。这么AI既能记着最近帧的细节，也能保留很早之前诞生的主体身份和场景信息，两者齐作假足丢失。

Q2：FadeMem需要再行锤真金不怕火视频生成模子吗？

A：不需要再行锤真金不怕火也能使用。论文提供了两个版块，FadeMem-TF是纯推理时版块，径直替换原有的缓存管制计谋，不作念任何模子锤真金不怕火；FadeMem-FT则是在此基础上作念了轻量级微调，让模子更好地安妥分层顾忌的拜谒模式，效能略优于纯推理版块。对于已有的视频生成系统，只需替换缓存管制模块即可使用，无需修改模子架构。

Q3：幂律指数β配置若干相比合适，平淡用户能我方调吗？

A：论文推选默许使用β=0.3，这个值在身份一致性和布景沉稳性上推崇最佳，最安妥需要经久保持主体外不雅和场景连贯的诈欺场景。β越大，对辽远历史的压缩越弱，动气魄略有进步但沉稳性下跌；β越小，近处顾忌保留越密集世界杯(中国)，辽远历史被更激进地合并。要是生成的视频场景变化多、动作幅度大，不错安妥尝试更高的β值。