这项由清华大学主导完成的商讨以预印本时局发布于2026年5月，论文编号为arXiv:2605.01711，感兴味的读者可通过该编号在arXiv平台查阅无缺原文。

在当代东谈主工智能的寰宇里，有一种叫作念"Transformer"的神经集中架构险些统率了所有领域——不管是让机器读懂笔墨、识别图片，照旧生成视频，它王人是中枢引擎。这种架构胜仗的秘要，东谈主们一直观得藏在一个叫作念"谨防力机制"（Attention）的安设里。然则，清华大学的商讨团队对这个"知识"提议了一个颠覆性的疑问：淌若咱们对谨防力机制的领悟自己就错了呢？

他们的谜底不仅重新施展注解了谨防力机制的使命道理，更在此基础上联想出一种全新的架构——WeightFormer，让AI在处理图像时速率大幅普及，而准确率险些不打扣头。这项商讨的意思意思，梗概不亚于发现了一条比高速公路还快、还省油的新路。

一、为什么原来的"谨防力"方法既贤慧又艰巨

要领悟这项商讨管束了什么问题，得先从谨防力机制提及。不妨用一个课堂场景来领悟：有一位忠确切改造一张相片里的试卷，想知谈"这谈题和哪谈题最干系"。传统的谨防力机制的作念法，便是让忠实把相片上的每一谈题王人两两比较一遍——第一题和第二题比，第一题和第三题比，第一题和第四题比……依此类推，把所有可能的组合王人过一遍。这个过程叫作念"显式谨防力打算"，用数学谈话说，便是打算一个N×N的矩阵，其中N是图片被切成的小块数目（称为"token"，不错领悟为相片上每一个小格子）。

问题在于，当图片变大，格子数目增多，这种两两比较的使命量会以浅显速率爆炸式增长。格子数目翻倍，打算量就形成四倍；格子数目形成十倍，打算量就形成一百倍。这便是所谓的"二次方复杂度"。处理一张等闲图片还好，一朝际遇高分辨率图像，或者需要同期处理许多图片，这个支出就变得极其慷慨，就像要求那位忠确切期末考试时把全校所有同学的试卷王人两两对比一遍。

夙昔十年，无数商讨者静思默想想办法给这个两两比较的过程"减负"——有东谈主让忠实只看部分题想法组合（寥落谨防力），有东谈主让忠实把相似题目归堆再比较（低秩类似），有东谈主让忠实用更快的类似方法估算相似度（核方法线性谨防力）。但所有这些尽力，王人是在想办法把那张两两比较的大表格算得更快、更省力，而莫得东谈主质疑过：这张大表格自己，简直是必要的吗？

这恰是清华大学商讨团队切入的角度。他们发现，人人一直在优化一谈作假方朝上的难题。

二、一个改变游戏规矩的新视角：谨防力其实是一个"动态换装"的神经集中

商讨团队作念了一件数学上相配小巧的事情：他们重新谛视了谨防力机制的打算公式，发现从另一个角度看，它的结构和另一种完好意思不同的东西完好意思吻合。

谨防力机制的中枢公式是：先把输入数据分歧变换成Q（查询）、K（键）、V（值）三组数据，然后打算Q和K的相似度，再用这个相似度对V进行加权乞降，得到最终输出。大多数东谈主看到这里，会把它领悟为一个"加权投票"的过程：K和V就像一册百科全书，Q是查询词，系统凭据查询词找到最干系的百科要求，把它们加权夹杂起来给出谜底。

但商讨团队换了一个角度：关于输入数据中的任性一滑（也便是一个格子的特征向量），所有这个词谨防力打算过程其实等价于把这个向量送进一个两层的小神经集中（MLP）里走一遍。这个小神经集中的第一层参数是K（键矩阵的转置），激活函数是Softmax，第二层参数是V（值矩阵）。

这听起来可能有点绕，打个比方会更直不雅。把谨防力机制比作一家餐厅的厨房——传统领悟是：顾主（Q）先看菜单（K）找到最心爱的菜，然后厨房凭据点单比例把不同食材（V）夹杂配给顾主。这是"显式点单-备菜"的经过。而商讨团队的新领悟是：这家餐厅的厨师会先把今天所有顾主的口味喜好（所有这个词输入序列）统计一遍，然后据此现场配制出一套"本日特供食谱"（K和V），每位顾主进门后径直按照这套食谱加工，不需要再作念两两的点单比较。K和V不再是让顾主相互比较喜好的器具，而是把今天全体偏好压缩进去的"厨房成立"。

这个知悉的中枢在于：K和V是由所有这个词输入序列动态生成的，它们自己就佩戴了全局信息。当你把任性一个格子的特征向量送进这个"以K和V为参数的小集中"里，输出驱逐当然就融入了来自全图的高下文信息，而不需要显式地去打算这个格子和其他所有格子之间的相似度。

用这个厨房譬如持续延迟：重要在于菜谱是凭据今天全体顾主的喜好动态定制的，是以即使每位顾主王人只是"按菜谱吃饭"，吃到的滋味也如故隐含了全体顾主的集体偏好。全局信息的整合，发生在菜谱制定阶段，而不是每位顾主进门时的两两比较阶段。

三、从领悟到步履：淌若全局信息不错藏在参数里，那何苦还要那张大表格？

这个新领悟坐窝引出了一个兴奋东谈主心的问题：既然全局信息不错通过"动态生成参数"的面目隐含地传递，那咱们能不行澈底抛开那张慷慨的N×N比较表格，单纯靠动态参数来完周密局建模？

这恰是WeightFormer要考证的中枢假定。商讨团队决定把"动态参数生成"这个念念路移植到另一种更轻量的汇蚁合构——卷积神经集中（CNN）中去。CNN本来是处理图像的传统选手，每个卷积操作只看图片的一小块区域，莫得自然的全局视线。但淌若给CNN的每一层配上"凭据整张图片动态调遣参数"的才调，它是否也能赢得全局感知力？

要杀青这少许，早先需要管束一个工程问题：奈何把整张图片的信息压缩成一套固定大小的参数？谨防力机制在原始联想中，K和V的大小是随图片格子数N变化的（K是d×N大小，V是N×d大小），是以打算量是N的浅显。要把复杂度压到线性，就必须让参数生成过程与N无关。

商讨团队探索了两大类压缩决策，并围绕每类联想了多种具体计谋，在接下来的实验中逐个考研。这些计谋应用于两类集中层：线性层（矜重在不同通谈之间夹杂特征，不作念空间操作）和深度可分离卷积层（矜重在空间上捕捉局部纹理和花式，但原来只看小区域）。

四、为线性层动态"换菜谱"的各式决策

先看线性层的动态参数生成。线性层的作用，不错领悟为把一张图片每个格子的特征向量乘以一个变换矩阵，稀奇于对每个格子作念疏通的线性夹杂。淌若这个变换矩阵是静态的，所有输入图片王人用合并套"配方"，就枯竭了对具体内容的适应性。淌若能凭据现时图片的全体内容动态调遣这个矩阵，就能杀青隐式的全局信息整合。

最简便的决策是用全局平均池化（GAP）：把图片所有格子的特征向量取平均，压缩成一个单一的向量，再通过一个小神经集中映射成变换矩阵的调遣量。这就好比厨师先尝一口今天所有食材混在沿途的玄虚滋味，然后据此调遣全体的调味计谋。这个方法打算极为低廉，但谬误是压缩得太狠恶，细节信息可能大批丢失。

更紧密的决策诳骗"干系矩阵"（X的转置乘以X，即X?X）。这个矩阵的大小是d×d（d是特征维度），与格子数N完好意思无关，但它捕捉了所有格子之间的特征共现统计——不错领悟为一份"今天所有顾主口味偏好的二阶统计摘抄"。从这个矩阵动身，商讨团队递次尝试了线性映射、加入非线性激活函数的版块、加入低秩分解的深层版块，以及一种被称为"双边激活"的结构——后者把参数瞻望分红两个互补分支，分歧作用在X和X?上，再组合起来。为了进一步裁汰打算量，在打算干系矩阵之前，还会先用自适应平均池化把空间分辨率磨蹭一半，过滤掉高频噪声。

实验驱逐清澈地显露，这些计谋王人大幅超越了静态参数基线。静态CNN在ImageNet图像分类任务上的准确率是73.3%，而引入双边激活计谋后，只是让第一个线性层动态化，准确率就普及到了76.4%，而参数目和打算量的增幅相配有限。进一步把两个线性层王人动态化，能达到76.7%，但微辞量（每秒处理的图片数）有所着落，性价比相对较低。

五、为空间卷积层动态"换模具"的各式决策

深度可分离卷积层的动态化，则对应着为图片的空间特征提真金不怕火换上"动态模具"。卷积操作的本色，是用一个小小的滤波器（比如3×3大小）在图片上滑动，检测局部纹理。这个滤波器淌若是固定的，不管什么图片王人用合并个模具压；淌若能凭据图片内容动态调遣，那它就能捕捉到更具适应性的特征。

商讨团队联想了几种计谋。最基础的是全局池化决策：把全图特征压成一个向量，再生成卷积核的调遣量，但这种面目丢失了空间结构信息。更贤慧的"空间自适应决策"则是先把图片通过自适应池化缩放到谋划卷积核雷同大小的空间分辨率（比如3×3），再用一个小集中生成卷积核，这么既保留了空间结构的标的性，又与原始分辨率解耦。此外还有一种"幅度-标的解耦"计谋，分歧瞻望卷积核的强度（幅度）和花式（标的），再组合，灵感来自权重归一化的念念想；以及径直用袖珍卷积集中处理特征图再池化的决策。

实验标明，空间自适应决策在准确率和遵循之间取得了最好均衡，比拟静态基线普及了约1.5个百分点，同期微辞量亏本最小。而把线性层的双边激活和深度卷积的空间自适应计谋组合起来，不错在小模子（约740万参数、1.2G浮点运算量）上达到76.8%的准确率，斗鱼体育(中国)2026世界杯官方IOS|Android手机app下载进一步超越单独使用任何一种计谋。

商讨团队还通过一种叫作念"灵验感受野"（ERF）的可视化方法考证了全局建模的真实性。感受野不错领悟为：图片中某个格子的输出特征，受到了多大范围内其他格子的影响。静态CNN只心境小范围邻域，感受野图像呈现为中心一个亮点，周围完好意思阴晦。而所有动态参数计谋教练完成后，感受野图像王人形成了整张图片均匀发光的情景，施展每个格子王人能感知到来自全图任性位置的信息。更道理的是，在教练运行前，动态模子的感受野和静态模子一样局限；教练事后才张开为全局遮蔽，施展这种全局感知才调是模子通过学习主动赢得的，而不是结构上的硬编码。

六、WeightFormer：把动态参数计谋形成一个无缺的视觉模子

考证了各式动态参数计谋的灵验性之后，商讨团队把最优计谋组合起来，构建了WeightFormer这个无缺的视觉架构。架构联想上有一个重要考量：并非所有层王人需要动态化。

研讨到动态参数生资自己是有打算代价的，淌若每一层王人动态化，参数目和运算量王人会显耀上涨，也不利于与其他模子进行公谈比较。商讨团队作念了一系列消融实验，系统测试了缔造不同数目动态块（N=4、6、8、11、14、17）时的遵循。驱逐显露：当所有17个块全部动态化时，模子果然出现了教练不踏实以致发散的问题，最终准确率只须70.2%；而N=11时准确率最高（76.9%），N=6时在准确率（76.3%）和微辞量（每秒3515张图片）之间取得最好均衡，这对应着每三个块中插入一个动态块的"寥落漫步"计谋。过多的动态层不仅代价慷慨，还会带来优化盘曲，这个发现自己就颇耐东谈主寻味。

最终的WeightFormer每隔两个静态块就插入一个动态块，动态块内使用空间自适应的动态深度卷积和双边激活的动态第一线性层，其余层保抓静态。所有这个词架构的技术复杂度相干于输入序列长度是严格线性的，从根底上打破了传统谨防力的二次方瓶颈。

七、WeightFormer在种种视觉任务上的阐扬

商讨团队在多个视觉基准任务上系统评估了WeightFormer，以考证动态参数计谋的通用价值。

在图像分类任务上，WeightFormer在ImageNet-1K数据集（包含128万张教练图片、遮蔽1000类物体）上与多类主流模子正面交锋。WeightFormer-T（约700万参数，1.1G运算量）达到了76.3%的Top-1准确率，比拟同等畛域的DeiT-T（72.2%）大幅最初，微辞量从3661张/秒普及到3515张/秒，出入无几。WeightFormer-S（2700万参数，4.4G运算量）达到81.3%，超越了DeiT-S（79.8%）和ConvNeXt-S（79.7%），且微辞量更高。稀奇值得一提的是WeightFormer-B：它在448×448的高分辨率输入下，以2700万参数和17.7G运算量达到了83.4%的准确率，完好意思不弱于使用224×224输入、参数目高达87M的DeiT-B（81.8%）或ConvNeXt-B（82.0%），而在高分辨率下运行时的微辞量上风更为杰出。

在谋划检测和实例分割任务上，基于COCO2017数据集的测试驱逐雷同令东谈主饱读动。以WeightFormer-T动作主干集中，互助CascadeMaskR-CNN框架，检测精度（AP^b）从DeiT-T的44.4%普及到45.0%，分割精度（AP^m）从38.1%普及到38.3%，而算打算量从594G着落到566G，主干部分的打算量从106G大幅削减到77G。这意味着用更少的算力赢得了更好的遵循。

语义分割任务（ADE20K数据集，使用UperNet框架）的驱逐也稀奇一致。WeightFormer-T以12M参数、38G算打算量（主干仅7G）达到40.7的mIoU，比同等参数畛域的DeiT-T（39.2mIoU）越过1.5个点，且主干打算量仅为DeiT-T的64%。WeightFormer-S以47M参数达到45.6mIoU，超越DeiT-S的44.0，主干打算量雷同更低（27G对35G）。

商讨团队还将WeightFormer应用于图像生成任务，基于DiT框架进行类条件图像生成，用FID（FréchetInceptionDistance，数值越低示意生成质料越高）来估量遵循。驱逐显露，WeightFormer在所有成立下王人一致优于DiT和DiG基线，举例WeightFormer-S/2以5.0G运算量赢得61.39的FID，优于DiT-S/2（68.40）和DiG-S/2（62.06）；WeightFormer-B/2以20.0G运算量赢得38.21的FID，优于DiT-B/2（43.47）和DiG-B/2（39.50），况且打算量更低。这施展动态参数计谋在生成类任务上雷同收效，不局限于分类、检测等判别性任务。

八、高分辨率下的遵循上风有多显耀

WeightFormer最具劝服力的上风体当今高分辨率场景下。传统谨防力机制的打算量随分辨率浅显增长，当输入图片变得很大时，内存和技术支出会急剧膨大。商讨团队专门测试了不同分辨率（从512×512到1248×1248）下WeightFormer-T和DeiT-T的微辞量与显存占用。

在512×512分辨率下，两者差距不大。但跟着分辨率上涨，差距飞速拉开。到1248×1248（每张图片被切成6084个格子）时，WeightFormer的微辞量是DeiT的7.7倍，而每张图片占用的显存比DeiT圣洁了91%。这意味着，用雷同的硬件，WeightFormer不错处理多得多的高分辨率图片，或者用低得多的资本完成同等畛域的任务。关于需要处理医学影像、卫星图片、高清视频帧等高分辨率任务的施行应用场景，这种上风是极为实用的。

九、动态参数的步履规则：越深处越活跃

商讨团队还作念了一项颇为道理的分析：在WeightFormer教练完成后，检测每个动态层的"动态强度"——具体来说，是打算动态调遣量（ΔW）和静态基础权重（W?）的范数之比r。这个比值越大，施展动态部分对最终参数的孝敬越显耀；比值接近1，施展静态参数仍然主导。

驱逐显露了一个清澈的规则：关于动态线性层，各层深度的比值r王人在1隔壁保抓踏实，变化幅度较小，施展动态线性层在所有这个词集中深度上王人提供了踏实且末端的全局通谈夹杂调遣。而关于动态深度卷积层，情况截然有异：浅层的r值接近1，但跟着深度加多，r值急剧攀升，在最深处达到了20-30倍之高。这意味着，越市欢集中末端（语义抽象档次更高的处所），空间自适应卷积的动态调遣越强烈，动态参数险些完好意思主导了空间特征提真金不怕火。直观上这很合理：浅层处理的是初级纹理（边际、花样），静态卷积核就如故够用；深层处理的是高层语义（物体花式、场景类型），需要更强的内容自适应才调。

说到底，这项来自清华大学的商讨作念了一件相配有利思意思的事情：它莫得试图把一个已有的东西作念得更快，而是从一个新的角度重新领悟它，然后发现其实不需要原来阿谁东西的全部。谨防力机制被重新领悟为"动态参数生成+前向传播"的两步走，而这两步里，只须第二步（前向传播）是线性复杂度的，第一步（参数生成）才是二次方支出的开始。一朝意志到这少许，用别的面目完成"参数生成"法子就成了合理的工程袭取。

虽然，商讨团队也坦诚地指出了目下使命的局限。所有这个词评估王人在视觉任务上进行，这套方法是否雷同适用于谈话模子、语音识别或其他序列建模任务，目下还不清澈。动态参数生成的抒发才融合归纳偏置，在表面层面也壅塞久了分析。更值得心境的是，动态参数的输入依赖性会使梯度传播愈加复杂，未必会带来教练不踏实的挑战（如所有层王人动态化时出现的发散表象）。这些王人是异日商讨需要濒临的课题。

不外，这项商讨如故提供了一个蹙迫的办法考证：全局序列建模不是谨防力机制的专利，只须能以某种面目把全局高下文压缩进集中参数里，再让输入数据通过这些参数进行变换，雷同能杀青Transformer级别的全局感知才调——况且不错作念到线性复杂度。这条路是否能走得更远，是否能在谈话、多模态等领域雷同收效，梗概会是接下来几年里颇值得心境的标的。有兴味久了商讨的读者，不错通过arXiv编号2605.01711找到原论文，代码也已在GitHub的LeapLabTHU/WeightFormer仓库公开。

Q&A

Q1：WeightFormer和等闲Transformer比拟，速率到底快些许？

A：在规范224×224分辨率图片下，WeightFormer和DeiT的速率邻近。真实的差距在高分辨率下体现出来——当图片分辨率普及到1248×1248时，WeightFormer的处理速率是DeiT的7.7倍，显存占用减少91%。这是因为WeightFormer的打算量随图片大小线性增长，而DeiT是浅显增长，图片越大差距越悬殊。

Q2：WeightFormer毁掉了谨防力机制，会不会在领悟图片内容方面变弱？

A：从实验数据来看并莫得。WeightFormer-S在ImageNet分类上达到81.3%，杰出了同畛域的DeiT-S（79.8%），在谋划检测、语义分割和图像生成任务上也王人优于或抓平于对比模子。感受野可视化也显露，教练后的WeightFormer能感知图片全局范围内的信息，并不比谨防力模子差。

Q3：动态参数计谋为什么不把所有层王人换成动态的，遵循岂不更好？

A：商讨发现并非如斯。当所有17个块王人换成动态块时，模子教练会出现不踏实以致发散斗鱼体育app，最终准确率只须70.2%，还不如静态模子。原因在于动态参数的生成依赖输入，这会让梯度传播变得更复杂，过多动态层会带来优化盘曲。每三个块中放一个动态块（共6个）是最好均衡点，性能76.3%，速率也最快。