写同样题目的作文，9 个大模型全都比中学生更爱让没有生命的东西做出活物的动作。程序员老王介绍了一篇研究 AI 英文表达的论文。他沿着实验结果追问：那些让人读着费劲的句子，会不会是训练奖励一点点塑造出来的？
写同样题目的作文，9 个大模型全都比中学生更爱让没有生命的东西做出活物的动作。程序员老王介绍了一篇研究 AI 英文表达的论文。他沿着实验结果追问：那些让人读着费劲的句子，会不会是训练奖励一点点塑造出来的？
这些模型共有的写法，为什么会让人读着费劲？老王先讲了阅读中的一个习惯：人会一边读，一边猜后面是什么。看到“汉字的”，我们容易想到形状、顺序或发音。后面的字只要符合预期，即使顺序有点乱，脑子也能补回来。
可一个叫 Claude 的模型写过这样一句话：“整段对话正在吃自己的尾巴。”读到“对话”，我们可能猜它会变长、跑偏，或者变得热烈，很难猜到它会“吃”。于是就得停下来，重新理解这个比喻，才明白说的是恶性循环。老王把这种需要回头梳理的表达，归为难读的句子。
论文特别关注其中一种写法：让没有生命的东西做出活物的动作。为了比较模型和人，研究者找来 14 个模型，让它们闲聊、修程序错误和写作文，再与相应场景的人类文字比较。其中 9 个大模型在同题作文里，都比中学生高分作文更常使用这种写法。问题就在于，这类动作容易偏离读者对主语的预期。
即使猜到了句子的方向，读者也可能被迫记住太多还没说完的内容。这是老王解释的第二种负担。读一句话时，我们得暂时记住前面的信息，才能把后面的意思接上。但短时间内能记住的东西有限。
论文举了一句模型写的英文。意思是：“立在墙角、你还在考虑要不要学的那把吉他，一个和弦都没教会你。”英文先出现“吉他”，读者得记住它。随后是“立在墙角”，又接着说“你还在考虑要不要学”。这些都在形容吉他，可吉他到底怎么了，句子一直没有交代。
直到读到“一个和弦都没教会你”，前面的内容才能拼起来。此时，主语“吉他”和动词“教会”已经隔了 8 个词。读者需要一直保存那些没接完的信息，忘了就得回头重读。
研究中的闲聊比较也出现了这个倾向：大多数模型的主语和动词，比电影对白里的隔得更远。老王说，同一件事用英文表达通常比中文更长，这种等待带来的记忆负担也就更加明显。
不过，模型比电影对白更绕，还不能说明同一个意思本来就能说得更简单。老王转述了研究者的顾虑：双方聊的内容不同，也许模型碰到的内容本身就更难表达。研究者想弄清的是，AI 有没有放着容易读的说法不用，偏偏选了难读的那种。
他们把模型写出的每一句话交给专门做翻译的小模型。先从英文翻成日语，再翻回英文。按老王的解释，这些翻译模型参数较少，翻译时不讲究文采，优先把意思表达正确。
比如，模型原本写的是“混乱期待你记住它”。绕着两种语言翻一圈后，就成了“有些乱七八糟的事情，你得自己记住”。老王说，意思没变，但“混乱”不再像人一样产生期待，读者也就不用先解开这个奇怪的搭配。
研究者把所有句子都这样处理，再统计那些难读写法。结果，无生命事物搭配活物动作的比例大大降低，主语与动词相隔很远的情况也减少了。这是论文用来说明模型本来可以说得更好懂的一组实验结果。
既然同样的意思能换成更顺的表达，模型为什么会选中那些难读的说法？老王把问题追到训练过程。模型先阅读海量文字，学习根据前文接着往下写，这一步叫预训练。之后再训练它听懂指令、完成任务，比如把文字接龙变成与用户一问一答，这一步叫后训练。训练中得到高分的说法，以后就更容易被采用。
论文选了一个叫 Olmo 的模型，因为它有 3 个可供比较的版本。第一个只做过预训练。第二个又做了普通后训练。第三个在后训练的基础上，还专门强化过推理。
研究者再次使用来回翻译的方法。这里有一个假设：翻译前后变化越大，就说明原回复里难读的写法越多。结果，只做过预训练的版本变化最小。普通后训练之后，变化开始增大。强化过推理的版本，变化幅度已经与研究中的大模型差不多。
老王认为，这从侧面指向了后训练：这些口癖可能是在这个阶段养成的，而且在这组比较中，训练更深入的版本，难读写法也更明显。
后训练为什么会带来这种变化？论文作者提出的解释是，奖励可能在推动模型省字。按老王的介绍，很多模型后训练时由程序打分，程序看答案对不对，却不看过程是否清楚。模型一次能容纳的文字有限，这个容量叫上下文。长任务前面写得太啰嗦，后面就可能超出容量，任务做不完，答案出错，得分也随之降低。因此，写得短一些可能更容易拿高分。
作者猜测，某些难读写法恰好能压缩表达。例如“混乱期待你记住它”，就比普通说法省字。人为了让听者理解，却往往会把意思紧密相关的词放得更近，减少对方记忆的负担。
为了检验省字会不会带来难读写法，研究者对千问 2.5 的 15 亿参数版本做了后训练。任务类似连词成句，让模型用指定的词写英文。表达“她知道答案是错的”时，句子中可以保留 that，提示后面整段都是她知道的内容。也可以省掉它。但省掉以后，读者可能先理解成“她知道答案”，读到后面才发现，原来她知道的是“答案是错的”。
打分程序先奖励意思正确，再按每多一个词扣一点分。结果，扣分越重，模型省掉 that 就越多。研究者没有教它删这个词，它自己找到了办法。老王也保留了区别：真实后训练未必直接按字数扣分，但这个实验说明，只要写长了吃亏，模型就可能主动省字，即使省掉的是帮助读者理解的提示。
从 9 个大模型共有的写作偏好，到后训练中的版本差异，老王想解释的是：AI 的难读表达可能与训练奖励有关。同一个意思可以说得更顺，但如果清楚易懂不在评分标准里，模型就可能把理解的负担留给读者。