Geoffrey Hinton 最近把话说得很具体:递归自我改进,也就是 AI 自己改进 AI、循环加速的那个过程,从前被认为很遥远,现在「可能很快发生」。这份警告不是他一个人的直觉,它带 22 位署名者,名单里有 Yoshua Bengio、OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark。对普通人来说,这件事的意义在于:如果 AI 研发的速度突然从「年」压缩到「月」,就业、安全、监管的准备时间会一起被压缩。

我的判断放在第一节末尾说清楚:这份警告最值得听的地方,恰恰在于它给出了一组可以每半年核对一次的公开数字。警告从情绪变成了仪表盘,这才是变化。

01 警告的内容变了,从「会不会」变成「多快」

这一节回答的问题是:这次的新鲜感到底在哪里。

智能爆炸这个概念本身很老。1960 年代,计算机科学家 I. J. Good 就写过类似推演:机器一旦能改进机器,改进速度会超过人类。三年前的 AI 讨论里这个词也出现过,只是大家把它归入「以后再说」的抽屉。

变化在于前提条件开始成形。那篇报告的核心推论很朴素:AI 正在变得擅长做 AI 研究。当 AI 好到能改进「用来改进 AI 的系统」,就形成一个环,每转一圈下一圈更快,原本需要数年的进步可能被压缩到几个月以内。

Hinton 本人的立场其实没变,变的是时间轴。他从「不觉得迫近」挪到了「相当快」。注意他的用词是可能性判断,报告里也反复强调不确定性仍然很大。这份克制让警告保持了可信度,比喊狼来了的人值得多听几分钟。

02 证据不用猜,实验室自己在公布

这一节回答的问题是:凭什么说环的前半段已经存在。

有两个可以核对的数字。OpenAI 公开说它已经做出「自动化研究实习生」,能独立完成熟练研究员几天的工作量,并且把「自动化 AI 研究员」的目标定在 2028 年 3 月。到 8 月中,它的研究部门里,AI 代理的工作日总量已经是人类工作日的 3.1 倍。

Anthropic 的测量更细。它给 AI 参与研发的程度分了等级,结论是:Claude 主导了 26% 的被测研发工作,意思是多数任务 AI 能从一句高层指令做到大部分,人只在旁边监督;90% 以上的被测工作至少有 AI 协作;内部平台上同时运行的代理约有 3 万个。

同一份报告里也有冷水。OpenAI 那些 4 到 8 小时的成功任务,超过一半至少需要一次人工干预。研究优先级、规模化决策、部署判断,仍然握在人类手里。3 万个代理也显然不等于 3 万个 Hinton,多数工作偏工程。

这两个数字合起来,恰好是当前阶段的快照:AI 已经在做 AI 研发的很多环节,但还没接管整个环节链条。

03 我的批判:数字漂亮,链路还没闭合

这一节回答的问题是:这份警告经得起推敲吗。

我把它的推理拆成三段,借用一个自己常用的检查工具,叫「环比三问」:环能不能转起来,要看三个环节各自是否成立。第一问,AI 能否完成研发中的关键判断,包括选题、识别失败的实验、决定哪个方向值得加注;第二问,AI 产出的改进能否累积,而不是每次都靠人重新校准;第三问,算力和经费是否跟得上加速后的需求。

用这三问去检查,警告方目前只牢牢站住了半问。代理确实在做实验、写代码、跑测试,这是第一问的部分成立。但第二问存疑:Anthropic 自己承认 Claude 在任何被测环节都未达到完全自主,超过一半的长时间任务要人介入。**判断和积累恰恰是环的核心,目前最弱。**第三问则是纯粹的物理约束:训练下一代模型需要的算力和资金以十亿美元计,这条曲线不会因为软件变聪明就自动变平。

还有一个结构性疑点。发布「AI 参与研发比例」数据的,正是靠这张数据融资的公司。测量标准由实验室自定,基准任务自选,存在天然的利益相关。把宣称当作仪表盘读数可以,当作裁决书不行。

所以我不同意「爆炸迫近」的紧迫版本,但我也不站「纯科幻」的另一端。 frontier 实验室公开量化 AI 在制造 AI 中的占比,这件事本身就是分水岭,两年前没有公司会公布这类内部数据。

04 反例与中文读者的适用性

这一节回答的问题是:这套推演放到中文语境里要打几折。

第一个折扣来自产业结构。前面的数字全部来自少数几个美国 frontier 实验室,它们有动机也有余裕把自家研发自动化。中文世界接触到的 AI 更多是应用层工具:编码助手、客服、内容生产。研发端的自我加速即便发生,传导到普通用户的工作里也有滞后期。对中文读者而言,先到来的冲击大概率是岗位结构的变化,比如初级程序员、翻译、设计执行类工作的定价被压低,而不是某个超级智能横空出世。

第二个折扣来自物理世界的不对称。报告里举过一个好例子:AI 可以同时加速危险病原体的设计和疫苗的研发,但病毒复制只要几天,疫苗却要生产、运输、接种。思维能力可以指数加速,物理响应始终是线性的。就算智能爆炸为真,它的破坏面也受制于现实世界慢的一侧,这给了监管留出缝隙。

第三个考虑恰恰相反,是中文读者不能打折的部分。安全风险不需要递归自我改进做前提。一个能力达到政府级网络攻击水平的工具,一旦扩散,影响不分语言和市场。这也是 Gates 在同期采访里把重点放在网络和生物安全、并主张政府强制介入的理由:企业自我监管不可信。这个立场对任何国家都适用,包括中文世界的监管者。

05 普通人该盯什么

这一节回答的问题是:不去读论文的人,看什么指标就够。

盯一个比值就够:当前一代 AI 完成了多少「建造下一代 AI」所需的工作。这个数 OpenAI 和 Anthropic 都在主动公布,每半年读一次。如果 26% 变成 40%,环在收紧;如果几年停在 30% 附近,说明判断瓶颈是真的,警告可以降级。

另一个信号是代理工作日与人类工作日的比值,3.1 翻倍的速度比任何评论文章都诚实。

最后落到一句判断:智能爆炸未必会来,但「AI 参与制造 AI」的百分比已经公开挂牌,从此这个话题有了数字可吵,这比共识更接近真相。

轮到你:你觉得「AI 主导研发的比例」到多少时,你才会真正改变自己的职业或学习计划?20%,50%,还是永远不信这类数字?


本文话题:AI 教父 Hinton 的新警告为何给了时间表,以及普通人该盯的指标

#AI趋势 #智能爆炸 #GeoffreyHinton #AI安全 #递归自我改进