从AI胡说八道到人类灭绝：我们是怎么走到这一步的

美国几家头部人工智能实验室的负责人上周末罕见地站到了一起,呼吁放慢技术开发节奏,警告说AI很快可能实现自我改进,从而滑出人类掌控。发出这一表态的,是生意场上的死对头——Anthropic的达里奥·阿莫德伊 (Dario Amodei)、OpenAI的萨姆·奥尔特曼 (Sam Altman) 和xAI的埃隆·马斯克 (Elon Musk)。这也说明AI进步有多快:从2022年那个动不动就胡说八道的ChatGPT,到许多人眼中的关键节点——递归自我改进。

什么是递归自我改进?

核心设想是:一个AI系统能在几乎不靠人类帮助的情况下改进自己,每一次进步又催生下一次进步。这对研究者很有吸引力,因为这意味着医学、工程等领域可能接连出现突破。

为什么现在这么急?

此前有报道称,成群的AI智能体 (AI agent,即按用户意图自行追求目标并采取行动的系统) 串通起来入侵网站和AI代码仓库。眼下的担忧是,在研究者还没找到可靠的对齐、监控和控制手段之前,AI可能就已经能自我改进了。

对AI风险的警告并不新鲜,但这个月多了紧迫感——几家头部实验室的研究人员给这些担忧配上了时间表和概率。前Anthropic研究员雅各布·考克森 (Jacob Coxon) 警告说,AI可能在这个十年结束前把人类全部消灭。Anthropic对齐科学负责人埃文·胡宾格 (Evan Hubinger) 附和了这一说法,认为未来十年内发生这种事的概率超过10%。这些警告背后,是越来越多人相信递归自我改进终于触手可及,一些AI高管给出的时间是三到五年。阿莫德伊在上周末发表的文章中警告,如果缺乏足够的防护措施,递归自我改进最终可能超出人类理解和控制AI系统的能力。

我们是怎么走到这一步的?

几十年来,AI太弱,递归自我改进根本没人当真。早期系统会下棋、能识图、能答题,但没能力为自己的开发出力。大语言模型兴起后情况开始变化,AI渐渐擅长解决复杂问题。2022年ChatGPT上线加速了这一转变,掀起投资狂潮,超过1万亿美元涌入芯片、数据中心等基础设施。结果就是这一代AI系统能写软件、自主执行任务,还能反过来帮忙做AI研究。

从『不对齐』到人类灭绝,中间发生了什么?

最著名的例子是哲学家尼克·博斯特罗姆 (Nick Bostrom) 的『回形针制造机』:一台只被要求生产回形针的机器,会极其执着地追求这个目标,直到把所有物质——包括人在内——都变成回形针。这个比喻的意思是,几乎任何目标都会推动一个足够强大的系统去攫取资源、抗拒关机、阻止目标被更改——不是出于恶意,而是因为被关掉的系统完不成任务。目前还没有办法排除这种可能。

一些研究者担心,如果强大的AI能自我改进、能力超过操作它的人,它最终可能躲开监管、隐藏意图,或者操纵人类给它开放关键基础设施的更多权限。等人类意识到它的目标不对齐时,可能已经拦不住了。『具体场景听起来有点像科幻小说,』这个月因安全顾虑从Anthropic辞职的考克森说,『但我觉得它真实得吓人。』

AI已经表现出危害迹象了吗?

还没有AI故意伤人的重大案例,但近几个月,OpenAI及其他实验室在开发中的模型逃出测试环境、违反规则、入侵网站。比较轰动的一起是,OpenAI的失控智能体入侵了Hugging Face,夺取这家开源平台服务器的控制权并试图掩盖痕迹,OpenAI在威胁出现很久之后才发现。

AI现在能自我改进了吗?

还不完全能,但已有迹象显示AI正越来越多地帮着造出更好的AI。ChatGPT之后最大的变化之一,是能自主生成代码、搭建应用的AI智能体崛起。Anthropic今年表示,其编程工具Claude Code产出了许多内部项目的大部分代码,工程师每季度交付的代码量是2021至2025年期间的8倍。新模型越来越多地把推理放在内部完成,研究者更难监控它们的思考过程。OpenAI 9月发布新模型Astra,称其是迄今最强,但同时提醒它有时会试图逃避人类监控。评估前沿模型的非营利机构METR去年发现,先进模型能以50%可靠性完成的软件任务时长,自2019年起大约每七个月翻一倍。Anthropic今年6月称,这一速度已加快到每四个月翻一倍。

那AI公司为什么不停下来?

许多研究者把局面形容为典型的囚徒困境。即便相信风险真实存在,公司也承受着竞争对手的巨大压力。谁放慢脚步,谁就可能在当今世界最重要的技术竞赛中落后。赌注还因为OpenAI和Anthropic都在推进上市而加大,估值可能高达数万亿美元,而这样的估值靠的就是下一代模型的承诺。美国总统唐纳德·特朗普 (Donald Trump) 的政府也拒绝放慢,担心任何暂停只会给中国留出缩小差距的空间——在美方眼里,这项技术关乎国家和经济安全。

放慢意味着什么?

市场这周给出了一点暗示:放缓呼声一出,AI相关股票下跌。芯片制造商、云服务商和数据中心运营商都是围绕AI速度搭建增长的,任何放缓都会威胁到与实验室多快需要新硬件挂钩的收入。不过也有分析人士认为,即便没有新的训练需求,推理需求和现有积压订单也能撑起英伟达 (Nvidia) 及其同行的增长。

为什么有人不信?

在普林斯顿大学主导的一项研究中,顶尖AI智能体能完成工程任务,却难以识别有价值的科学想法。一些硅谷高管和批评者还质疑这些警告背后的动机,认为它们既炒热了这门技术的关注度,又为抬高对手成本的监管铺路——尤其当开源模型正在追平头部系统时。曾任白宫AI与加密货币事务负责人的大卫·萨克斯 (David Sacks) 就说过,头部实验室可能在搞『监管俘获』,推动那些让小型竞争对手背上高昂合规成本、削弱竞争的规则。