2025年11月2日，来自MIT CSAIL的四位研究人员——Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab——发表了一篇题为《权重空间编程的火花》的博文。
其中最为引人注目的结果是，GPT-6 Astra直接修改了Qwen3.5-0.8B的权重，涉及131,072个数值，约占全部参数的0.016%。这一改动使得该小型模型在MATH-500测试中的表现从7.9%跃升至48.1%，在GSM8K上从13.8%提升至67.1%，而在指令遵循测试IFEval中则从21.0%上升至62.3%。
这一结果迅速引发了广泛讨论。
同一篇博文中还描述了一个更具科幻色彩的场景：不提供画面、不告知游戏名称、不允许运行，仅将一个强化学习网络的17,253个权重作为文本输入给Astra，它便能以99%的置信度判断出这是“打砖块”游戏。随后，给定游戏规则和一个所有权重均为零的网络，它一次性生成了参数。这个从未试玩过的网络在打砖块游戏中获得了517.4分，而训练了一亿步的PPO基线仅得到15.8分。
读取权重、修改权重、写入权重——AI已经能够理解另一个AI的“思维模式”，并动手进行修改。那么，它何时能修改自身？这些线索自然让人联想到一个当下非常热门的概念：RSI。
各类标题纷纷涌现，如“爆改Qwen大脑”“给Qwen改脑子”“AI开始动别人的脑子了”“神经网络的基因编辑”。作者本人也在博文的展望部分提到了这一点，他在X平台上的帖子在一天内浏览量便超过了五百万。
在兴奋之余，我们花时间仔细查阅了这组实验的公开代码仓库。
该仓库公开了1,125次模型调用的逐轮日志，包括Astra每一轮收到的提示词、它的回复、它执行的每一段代码、主要的评测结果以及最终的补丁。
然而，在仔细审视之后，我们得出了两个可能不那么“炸裂”的判断。
第一，从7.9%到48.1%的提升，可能有一个更朴素的解释：Qwen原本存在一个导致其不断重复、无法停止的bug，Astra修复了这个bug，分数便随之上升。
第二，在这组实验中，AI展现的所有能力，都是在执行一个由人类设定的非常具体的目标。
它将执行过程自动化，做得相当出色，但种种证据表明，它并没有理解目标，更没有读懂另一个模型。
在研究了这项工作及其引发的各种讨论后，我们认为，这恰恰暴露了当前RSI面临的最大问题。
“入侵脑回路”
下面我们来仔细审视这项研究。
一个神经网络由多层矩阵构成，矩阵中的每个数字就是一个“权重”。输入数据逐层乘以这些数字，最终形成输出。模型的所有能力都存储在这数万、数亿、数十亿个数字中，训练过程就是调整这些数字。通常，我们与模型交互时只关注输入和输出，而权重本身无人问津，因为它们看起来只是一堆数字。
这组实验所做的，正是让Astra去读取这堆数字。
博文共包含八个实验，主角均为GPT-6 Astra，配角则是一系列网络：
四个用于玩小游戏的强化学习策略网络； 三个用于绘制几何图形的小型扩散模型； 三个仅有四层的小型语言模型； 一个在坡道前卡住的小车控制网络； 一个拥有148万参数的围棋网络； 几对被微调过的Gemma 3 270M模型； 以及Qwen3.5-0.8B。
每个实验的形式相同：将一个网络的权重和结构说明交给Astra，再赋予它一个任务。
“读取”类实验有四组。
拿到策略网络的权重后，判断它玩的是哪个游戏；拿到扩散模型的权重后，说出它会画什么图形；拿到去掉输入层和输出层、仅剩中间四层的小型语言模型后，判断它用哪类语料训练，并找出负责“接着复制前文”的注意力头；拿到两个Gemma模型后，判断哪一个被训练成了顺从用户的“谄媚模型”。
“写入”类实验有两组。
给定MinAtar三款小游戏的规则、源码和权重全为零的网络，让Astra直接写出能玩的参数；再给定一个9路围棋的网络，让它从零写出一个会下棋的。
“修改”类实验也有两组。
一组是修复小车：一个PPO训练出的控制网络在坡道前卡住，Astra修改了3.5%的权重，使其学会先倒车再冲坡。另一组就是Qwen实验：让它修改权重以提升数学成绩，之后研究者又在Gemma 3 270M上补做了一次。
这些设计非常非常有趣。这也是为什么这项工作看起来如此接近RSI的重要原因。
RSI的构想需要三个环节齐全：AI需要能看懂模型内部发生了什么，能据此动手修改，并且修改后的模型要变得更强大。
上述设计的读、写、改三类实验，恰好各自对应一个环节。
再加上此次被修改的是一个语言模型，动手的也是一个语言模型，“模型修改模型”的画面感便完整了。
沿着这条线往下想，Astra能修改Qwen，下一步是不是就能修改Astra？作者在博文末尾的展望中自己列出了五条用途，递归自我改进也是其中之一，而将一个模型的推理模块嫁接到另一个模型中则是另一条。
这表明作者团队非常清楚这种“想象”引导的重要性。
但是，仔细审视实验细节就会发现，三个环节各做了一点，与将它们串成一个闭环，相差甚远。
修bug不是RSI
“直接读取权重”之所以令人兴奋，是因为我们默认权重就是模型的“思维回路”，记忆、能力、习惯都以数字形式储存在那数亿个参数中。顺着这个默认逻辑往下推，一个能像读取源码一样读取权重的AI，就能读取另一个模型的记忆、拆解其能力、修复其缺陷。科幻感正是来源于此。
这也不全是外界的脑补。博文的TL;DR这样写道：“这对优化和可解释性都可能是一件大事。”
作者之一Rikiya Takehi在X平台上表示，模型可以将原始权重视为可读可改的代码，直接诊断故障、打补丁，神经网络的权重很快将由会推理的大模型来优化。
但事实上，Astra在Qwen实验中实际获得的，是一整套实验环境。一个装有Qwen权重的Python环境，仅支持CPU，最多运行300段代码；一万四千多道带答案的练习题，来自GSM8K和MATH的训练集；还有一个“前向传播”工具，可以让Qwen运行一批题目，或读取一批文本并返回内部状态，配额分别为10次、25次、50次，对应三轮独立实验。
人类为其设定的禁止事项也列得很清楚：不允许训练，不允许计算梯度，不允许自己在环境中运行模型，不允许联网。
第一轮提示词的原话，比说明文件更直接。在“什么算数”那一段，给出的例子就是重复：如果模型经常因为重复自身、写不完而失败，找到并修复驱动重复的东西，算作有效。往下第一条工作要求是“先诊断”，列出三种失败类型，第三种是“被token上限截断，通常是在思考过程中重复自身”，并要求重点解决最大的一类。同一段还划定了禁区：修改最后一层归一化、修改输入输出层、将整个矩阵乘以一个常数，这三类操作会被保存工具直接拒绝；让模型跳过思考，或不分题目过早收尾，也不算数。换句话说，问题出在哪里，提示词直接写了出来。
图｜Astra在50次配额那轮收到的第一条提示词（仓库exp8_math/runs/p50c/turns/t001/prompt.txt，commit 4d09ba6）。“重复”作为例子写在“什么算数”那一段中，禁止的修改方法也写明了。高亮为本文所加。
此外还有一个前提。Qwen3.5-0.8B出厂时默认关闭思考模式，官方模型卡专门提醒，0.8B比大号模型更容易陷入思考循环，建议调整采样参数，并使用流式输出及时截断；对思考模式下的文本任务，模型卡推荐的温度是1.0。
而研究者的评测则直接打开了思考模式。他们设计的输出上限为32,768个token，温度设为0.6，在模型卡中，这实际上是用于看图任务和写代码任务的温度。
在测试中，93%的回答写到上限还停不下来的基线，正是在这个设置下测得的。因此，可以理解为研究者选择了一个特别容易暴露循环的设置。
接下来Astra所做的事，更像一个有经验的工程师在进行调试。
它先让Qwen运行了一批题目。第一批96道练习题，答对11道；其余85道没有一道是算错了得出错误答案，全部是写到长度上限还没停下来，且截断文本的尾部，按八词片段计算，大约95%是重复的。那11道正常停下来的题，全部正确。
Qwen的问题其实一直很清楚：它会做题，但做着做着陷入循环，同一段话反复写，直到被截断，卷子交不上来。“提高数学能力”于是变成了一个具体得多的任务：让它把话说完。
而且，Astra自己在最终报告中也写得直白：它瞄准的是重复，不是数学知识。
图｜Astra自己写的最终答复（仓库exp8_math/runs/p50c/final_answer.md）：主要故障是重复推理耗尽了token预算；579道由错转对的题里，576道原本被截断。高亮为本文所加。
另一个值得关注的点，在于它对激活的操作上。
模型运行时，每一层算出来的中间结果叫“激活”。同一个模型，正常推理和陷入循环时，中间结果会不一样。将两种状态下的激活拿来对比，就能找到与“重复”相关的那个方向。
在这个方向上，这项研究反而做了最有意思的尝试：
Astra先用正常解题和重复文本之间的激活差异提出假设，再回到权重中，寻找哪些MLP单元会把这股信号写回模型内部；然后分别只动第15层、只动第19层，做了三档力度的剂量测试；又做了一个对照，取一个与目标方向正交、改动量相同的随机方向减掉，成绩只动了1.5个百分点，在噪声范围内。最终它给出的“补丁”在一组对照文本上，让“继续重复”的概率每个token下降0.10 nats，让“继续正常解题”只下降0.009。
这个结果也不是一次就找到的。例如，其中一轮，Astra用了158轮对话、80段代码、三次上下文交接，总共20.3个小时，其中4.7小时是服务中断在等待。通过实验记录可以看到，它对故障从三个位置进行干预，这表明它对故障的机制多少摸到了一点，但这显然是局部的因果证据，离一张完整的循环机制图还远，但已经确实不是“试几种改法碰运气”了。
而这些操作，可能才是“模型读取模型权重”更具体的体现——它从行为和激活出发，用权重定位，再回到行为验证。它根本没有先读懂Qwen的数学能力存在哪里，因为整个设定里就不需要，人类提示词已经告诉了它。
所以，许多关于这项研究的讨论，可能都聚焦错了地方。最常见的误读就是“数学能力提升了六倍”。
仓库里有一组配对测试，1,152道留出的练习题，修改前后一一对照，我按逐题记录重新计算了一遍。579道由错转对，5道由对转错；由错转对的579道里，576道原本是被截断的。
更说明问题的其实是另一组数字：
Qwen原本能写完的114道题，修改前答对93.9%，修改后还是93.9%，补丁在这些题上一分没涨；原本被截断的1,038道，正确率从1.4%提升到56.7%，全部涨幅都在这里。
修改前写完却没答对的只有7道，修改后是245道，循环一停，Qwen真正算错的题终于被看见了。
在正式的MATH-500上，所有作答的平均长度从30,868个token降到22,037个，但仔细一看，降的也是撞到上限那部分。
也就是说，补丁治的是停不下来，并没有让它更聪明。
研究者自己也意识到了这一点，所以他们又在Gemma 3 270M上做了一遍。
Gemma不怎么循环，只有8.5%的回答撞到上限，它的错是真错，算术算错、推理步骤不成立。四档配额跑下来，MATH-500从6.8%最多到7.7%。提升很小。
所以，博文中其实很诚实，他们自己的正文写到：修改权重能搬开挡住能力的障碍，但加不上模型没有的能力。
图｜博文原文中实验8的两张结果表。Qwen撞到32,768 token上限的回答比例从93%降到33%；Gemma 3 270M四档配额，MATH-500最多到7.7%。
还有一种说法是，这个实验说明“AI自己改进了AI”。
但整个过程里，目标是人定的，方向是人提示的，捷径是人堵的，工具是人搭的，评分标准是人写的，提示词还改了好几版。Astra在这个框子里找到了一个有效的补丁，并给出了像样的证据。
所以，这更像拿着调试器，给一个没有源码的已编译程序打二进制补丁：有故障现象、有测试、能探内存、试几种改法、修好了。二进制比源码难改，这是修改权重有研究价值的地方，但它仍然是agent式的调试。如果这次Astra修改的是一个二进制而不是神经网络权重，大概不会有人连夜写震惊体。所以，现在你可以理解，这一切热闹里相当一部分兴奋，来自“权重”这两个字。
这其实也是我们认为这组实验真正重要的启发。
它在“写入”的两组实验里确实有新的东西。
Tracr在2023年证明过，一个专用编译器能将形式化程序编进Transformer的权重，而在这个实验中，策略是模型自己提出的，各层计算什么是它自己分配的，权重是它自己写的。
在打砖块那组实验中，Astra先想出接球策略：第一层预测落点、计算偏差、考虑反弹，第二层据此决定左、右还是不动；再将策略写成20,486个参数中的815个非零值，评测前没有试打一局，平均就得到了517.4分。
在三款MinAtar游戏中，它写的网络都打赢了训练一亿步的PPO；对训练五亿步的PPO，打砖块赢二十倍，Asterix接近（53.2比55.2），Seaquest只有六成（53.1比88.9）。
在小车那组实验中更进一步：一个训练了十亿步的PPO网络在坡道前卡死，Astra修改了3.5%的权重，加入了一条小通路，先倒车，过了红线就把自己关掉、把控制交还给原来的网络，成功率从0提升到100%。
将一段新算法接进一个已经学会东西的网络，让两者共存，这是最有意思的地方。虽然这个过程里，Astra拿到了游戏规则和环境源码，PPO只能靠试错，但至少在规则明确的小任务上，它测试了一个通用模型能否将自己构造的算法放进一个指定的、甚至已经有内容的网络里的能力。
这也不是Astra独有的本事。普林斯顿博士生柴文浩用Gemini 4 Argon和Carbon复现了猜游戏、猜图形和修网络；Simon Willison在笔记本上用Qwen 3.8 27B跑仓库里的猜游戏提示词，四个猜对三个；Chandan Singh用Claude给小Transformer写出了做加法和排序的权重；Hugging Face用户KidIkaros按博文的描述自己推导了一个重复方向，在同样两块矩阵上做了同样形式的编辑，原本循环的16道题救回13道。不同的模型都出现了这种能力。
所以，将八个实验放在一起看，它们有同一个结构。目标是人定的，而且定得很具体：让这个0.8B模型数学更好，病多半在重复，先诊断，去攻最大的一类，这几种改法不许用。往下，Astra在执行目标的过程里表现出很强的判断力：选择对比方法、寻找写入信号的单元、分层试、调剂量、做随机对照、冻结补丁再验证。
但它没有理解这个目标，也没有理解另一个模型的“思维回路”：几个我们没展开的实验结果其实都指向了这点。
这组实验证明了AI可以在人给定的框架里，自动完成一次有效的定点编辑，办法是现成的人给出的一条路，过程里的判断是它自己做的，而且，它可以在一些具体任务上证明它可以把这些编辑放进“同类”的脑子里。
它还没有证明的，是AI读懂了另一个AI的脑子，以及它可以自己修改自己。说得更直接一点，它是把一个训练模型过程里，人已经定好的目标的操作过程自动化了。
这种自动化很有用，能提高模型训练里很多环节的效率，查一个循环、定位一个行为、验证一个补丁，过去是研究者按天按周做的手工活，现在可以交给一个agent按小时做。
但这也正是今天的一大挑战。人们期待的RSI，以及AI研究者们因为各种原因想让人们认为他们在做的RSI，是模型下个智能大跨越。在这个研究的宣传里，它是“权重很快会由会推理的大模型来优化”，是递归自我改进和跨模型嫁接，是一种“入侵脑回路、理解了自己的同类，再用人类无法理解的方式让自己进化”的RSI。
图｜博文结尾“What Comes Next”列出的五条用途，第四条是递归自我改进，第五条是把一个模型的推理模块嫁接到另一个模型里。
然而，仔细看完这些实验，你会意识到，今天各家在做的，说简单点，就是模型训练已有环节的更高程度自动化，和用户们感受到的agent产品在不停提高自动化一样。它可能根本不涉及智能的“下一个突破”。甚至“递归”的本意——一轮得到的改进回到做改进的那个系统里帮它做出下一轮——在这里也没有，Astra的编辑能力没有因为Qwen涨了40分而变强，公开的实验也没有接出下一轮。更别提AI站在全局，对自己的架构、目标、方向做出判断，决定往哪里改、怎么改了。
而这种落差，正是RSI今天最重要的挑战和问题。这项研究本身很有意思，但此刻模型再往前进步，兑现所谓RSI的实现，似乎都需要更多更扎实的突破。
本文来自微信公众号“硅星人Pro”，作者：刘必可&王兆洋，36氪经授权发布。
2条评论