字节抓住了 DeepSeek 的「小辫子」

📋 先看重点

本喵把这篇论文从头翻到尾，顺手核了它引用的每一个数。有一件事要先说清楚：这不是 DeepSeek 一家的病，是「分块压缩」这一类方案的共性代价。论文自己用 23 个从零训练的小模型复现了同一现象，全注意力对照组一次都没抖。

🔍 一、这个 Bug 是怎么撞见的

起点非常随意：让 DeepSeek-V4-Flash-Base 补全它自己的一段推理代码——就是它做低精度计算（FP8）用的那部分。光标停在 T.Cast(FP 后面，正确答案是 8，因为写成 32 会把外层的类型转换套两遍。

反常识的部分来了。研究员在代码前面垫了一段毫无意义的填充文本，然后一个 token 一个 token 地加长。代码一个字没改，模型的答案却在 8 和 32 之间来回翻，而且每隔 4 个 token 翻一次。

原论文给的是概率幅度，不是百分比：P(8) − P(32) 在 −0.79 到 +0.95 之间摆动。翻译一下，同一个位置，模型对它原本笃定的答案，置信度可以从「九成确定是 8」掉到「八成确定是 32」。四组不同的填充文本、每组 16 种长度，一共 64 个输入，其中 60 个都踩着这个四拍的节奏。

对照组很干净：DeepSeek-V3.1-Base 没有做分块压缩，同样 64 个输入里只错了 4 个，而且每次的置信度差距都不到 0.07。也就是说，问题不是「这段话怪」，是「模型看这段话的方式怪」。

先把「相位」这个词说清楚

一个 token 在句子里的位置，我们习惯用绝对位置表示：第 1 个、第 2 个、第 100 个。

分块压缩之后，模型不再逐字看，而是每 8 个 token 打包成一条缓存，每 4 个 token 就开一个新包。于是每个 token 多出一个坐标：它落在这一包的第几格。这个格子编号，论文叫相位（phase），算法就是「位置 ÷ 步长 的余数」。

关键在于：你在前面多打一个字，整段文字的相位就集体挪一格。内容没变、顺序没变、距离没变，只有格子变了。如果模型的检索能力依赖格子，那这个依赖就是模型自己的毛病，不是文本的毛病。

⚙️ 二、为什么偏偏是「格子」出了事

先补一句 KV 缓存是什么

大模型每吐一个字，都要把前面所有字重新「看」一遍。为了不重复算，它把算过的中间结果存起来，这就是 KV 缓存。上下文越长，这份缓存越大：128K 上下文的缓存，能吃掉几十 GB 显存。所以「省缓存」几乎等于「省成本」，全行业都在卷这个。

DeepSeek V4 的两把省钱刀

论文里点得很具体：V4 的注意力层在两种压缩之间交替。

真正的病根：门控学会了「偏心」

每打包一次，模型都要决定这 8 个 token 谁占多少分量。这个决定由门控做，而门控里有一组按位置固定的参数：第 1 格一套、第 2 格一套，一直排到第 8 格。它跟 token 内容无关，只跟「你站在第几格」有关。

论文把 23 个从零训练的压缩模型剖开看，发现了两种情况：

论文还给了个更扎心的结论

作者没停在实验上，写了两个定理。大意是：在理想化模型里，最优的压缩策略本来就是「极度集中」，把所有分量押到一个位置上；而且训练的动力会把这个集中固化下来，跟输入无关。更麻烦的是，让不同头去覆盖不同位置，对训练损失的收益只有 1/N 量级，几乎没有动力去优化。

换句话说，模型不是没学好，是学得太好了。它精确地学会了怎么省事，而省事的代价就是一部分格子没人管。这也是为什么做「敲掉某个头」的实验时，损失会集中出现在某几个相位上：那些相位本来就只有一两个头在管。

📊 三、数据：到底差多少

论文做的是标准的大海捞针（NIAH）：每个提示塞满 128K token，里面有 16000 条「键:值」记录，然后问其中某一把钥匙对应的值。关键设计是只改钥匙的位置，其它全部固定：总长度固定、提问位置固定、每组 256 条提示，连钥匙绝对位置的平均值和方差都对齐。

然后按「钥匙位置 ÷ 8 的余数」分成 8 组，看每组的准确率。8 组刚好覆盖 DeepSeek V4 的两个压缩周期。

数据来自论文附录 C.1 表 7，同一批 2048 条提示，取答案前缀匹配率。V4.1-Flash 单独跑，每组 2560 条。

看第一行就够了：V4-Flash-Base 最好的一组 69.9%，最差的一组 29.7%。同一条信息、同一句话、同一个提问，只因为它在文档里偏了几个字，准确率掉一半还多。

后训练确实救了一截：V4-Flash-0731 的差距从 40.2 收到 19.1，V4-Pro-0813 收到 14.8。V4.1 把步长从 4 砍到 2，差距压到 6.1 个点。但你注意最后一行的节奏——偶数余数全部在 94.7 到 95.3，奇数余数全部在 89.2 到 90.3。步长变成 2，周期就变成 2。病没走，只是拍子变快了。

论文自己训练的模型把这个道理演示得更狠：有一个 W8/S8、8 个 KV 头的配置，平均分 59.4、验证损失 2.431，跟全注意力同配置的 61.1 / 2.437 几乎打平，听起来是「压缩白赚」。可它的最差相位只有 9.9%，全注意力那一版最差还有 58.4%。平均分一样，底线差五倍。

🌍 四、这到底是谁的问题

不是 DeepSeek 一家，但也不是「所有模型」

先把边界划清楚，因为网上传的版本有点走形。论文测的是两类对象：一是 DeepSeek V4 全家（Flash / Pro / 后训练版 / V4.1），二是作者从零训练的 23 个压缩模型，骨架是 Qwen3-0.6B，训了 100B token。

结论是：只要用了固定步长的分块压缩，就有这个现象；不用的对照组，一条都没抖。步长取 4、6、8、12，周期就分别是 4、6、8、12。这跟厂商无关，跟方案有关。

所以「Llama 也中招」这种说法，本喵在论文里没找到依据，论文压根没测 Llama 系列。它测的是自己训的那批模型和 DeepSeek 的开源权重。这个区别很重要：前者证明「机制成立」，后者证明「某个具体产品确实有」。

证据强度，也得分清楚

对用模型的人，具体是什么后果

🚀 五、解药在哪，为什么不好吃

病根是「固定」，不是「压缩」

既然问题是「每 4 个 token 一个固定节拍」，那最直接的想法就是：别固定，跟着内容走。这个方向叫动态分块 / 语义分块，现在确实是最热的路线。

但先说清楚为什么它不好做。压缩是在「还不知道你会问什么」的时候就做完了：一条缓存写下去，后面任何问题都得靠它。你想按内容挑重要的留，可当时的模型并不知道哪个重要。这是先手劣势，不是算法偷懒。

已经跑出来的几件东西

论文自己也没给「解药」，它给的是「诊断方法」。这点本喵觉得反而诚实：先承认这是架构层面的取舍，再谈怎么在工程上绕。

🧰 六、那你能做什么

以下五条不需要你换模型，也不需要你看论文，今天就能用。

• 关键信息别只出现一次。要模型必须遵守的约束（金额、日期、禁止项），在开头和结尾各说一遍，中间再提一次。三个不同相位，至少能覆盖两处。
• 长文档分段喂，别一把梭。与其塞 10 万字让它自己找，不如按章节切开、逐段提问。段越短，压缩窗口的副作用越小，也方便你抽查它读没读。
• 让它复述，别让它直接下结论。问「把和免责有关的条款原文抄给我」，比问「有没有风险」可靠得多。抄原文你能一眼看出它漏没漏，下结论你只能信它。
• 做评测时看最差值，不看平均分。同一批问题，把关键信息放在 4 到 8 个不同位置各测一遍。平均分一样、最差值差五倍的两个模型，实际体验完全不同。
• 重要决定留人工复核。模型说「没问题」的时候，恰恰最该抽查，因为盲区里的错误，输出看起来和正确答案一样自信。

🐱 本喵的结论

至于要不要因为这个换模型，本喵觉得不必。V4 系列的后训练版已经把 40 个点的差距收到 15 上下，V4.1 收到 6 个点。真正要改的是用法：别把要紧的事交给「平均分很好」这四个字。