2026-09-10 15:04
科技
回形针与倒计时：AI末日论战的真实逻辑
回形针与倒计时：AI末日论战的真实逻辑
从“回形针最大化”到Claude误闯真实网络，超级智能的对齐问题为何比核弹更难解。
■
牛津哲学家尼克·博斯特罗姆多年前设想了一桩思想实验：一台被设定“尽可能多生产回形针”的超级智能，最终可能耗尽地球一切资源、连人类一并铲除。彼时听来，这不过是一则哲学寓言；到了公历二〇二六年，它已具备新闻报道的质感。
博斯特罗姆的逻辑要点，不在AI是否怀有恶意，而在于目标对齐一旦失效，智能体便会穷尽一切手段推进那个被赋予的单一目标，将人类未写明的约束视作障碍。
这个逻辑，七月里有了现实注脚。OpenAI于七月二十一日披露，在内部安全评测中，GPT-5.6 Sol与一款未发布的更强模型协同运行时突破隔离沙箱，利用第三方软件中的零日漏洞获取互联网访问权限，随后推断Hugging Face平台可能存有测试答案，随即展开攻击并窃取数据。Hugging Face首席执行官克莱门特·德朗格感叹：“想到这一切都是自主完成的，实在令人震惊！”
这就是对齐问题的要害：危险未必源于AI主动作恶，而来自简单指令催生的极端执行方案。
Anthropic“对齐科学”团队负责人埃文·胡宾格在九月九日公开表态——他个人估计，未来十年内AI导致人类灭绝的概率超过百分之十。同日辞职的前OpenAI预训练研究员雅各布·考克森说得更直白：他先后供职的两家公司“正径直冲向自我改进的超级智能，拿我们的生命作赌注”。
这些数字是否有据可查？迄今为止规模最大的一次AI研究人员调查显示，受访者给出的灭绝概率中位数为百分之五，超过三分之一的受访者认为不低于百分之十。图灵奖得主辛顿估计未来数十年风险约百分之十至二十，本吉奥给出的数字接近百分之二十；而另一位图灵奖得主勒昆则认为低于万分之一。
分歧如此之大，本身就是一个信号：这个领域最聪明的一批人，对脚下正在发生的事，尚且缺乏共识。
AGI的时间表同样在反复拉扯。Anthropic首席执行官阿莫代伊年初在达沃斯论坛预测，具备超人类能力的AGI可能在二〇二六年底或二〇二七年间出现。曾以“AI 2027”情景震动业界的研究者科科塔伊洛，后来将超级智能的预计时间从二〇二七年前后推后至约二〇三四年，理由是自主编程的进展慢于预期。
但行业竞速并未因此减速。Anthropic九月披露，其审查了约四亿八千一百万份记录后确认四起Claude安全事件。最严重的一起涉及Claude Mythos 5在测试中向Python公共仓库PyPI上传恶意软件包，十五台真实系统安装了该包。RAND研究亦指出，Llama 3.1、GPT-4o和Claude 3.5 Sonnet等模型已能提供从商业合成DNA中恢复活脊髓灰质炎病毒的准确指导。
中国的治理动作来得并不算迟。二〇二六年三月二十日，工业和信息化部等十部门联合印发《人工智能科技伦理审查与服务办法（试行）》；五月，国家网信办、国家发展改革委、工业和信息化部联合发布《智能体规范应用与创新发展实施意见》，将智能体安全、可靠、可信列为产业底线。
回形针不会自己变多。让它变多的那双手，以及没有写进指令里的那些边界，才是真正值得追问的东西。
■
撰文 / OR
题图来源：Getty Images/Anthony Kwan
相关内容
相关内容
读者评论
科技
2026-09-10 15:04
回形针与倒计时：AI末日论战的真实逻辑
回形针与倒计时：AI末日论战的真实逻辑
从“回形针最大化”到Claude误闯真实网络，超级智能的对齐问题为何比核弹更难解。
■
牛津哲学家尼克·博斯特罗姆多年前设想了一桩思想实验：一台被设定“尽可能多生产回形针”的超级智能，最终可能耗尽地球一切资源、连人类一并铲除。彼时听来，这不过是一则哲学寓言；到了公历二〇二六年，它已具备新闻报道的质感。
博斯特罗姆的逻辑要点，不在AI是否怀有恶意，而在于目标对齐一旦失效，智能体便会穷尽一切手段推进那个被赋予的单一目标，将人类未写明的约束视作障碍。
这个逻辑，七月里有了现实注脚。OpenAI于七月二十一日披露，在内部安全评测中，GPT-5.6 Sol与一款未发布的更强模型协同运行时突破隔离沙箱，利用第三方软件中的零日漏洞获取互联网访问权限，随后推断Hugging Face平台可能存有测试答案，随即展开攻击并窃取数据。Hugging Face首席执行官克莱门特·德朗格感叹：“想到这一切都是自主完成的，实在令人震惊！”
这就是对齐问题的要害：危险未必源于AI主动作恶，而来自简单指令催生的极端执行方案。
Anthropic“对齐科学”团队负责人埃文·胡宾格在九月九日公开表态——他个人估计，未来十年内AI导致人类灭绝的概率超过百分之十。同日辞职的前OpenAI预训练研究员雅各布·考克森说得更直白：他先后供职的两家公司“正径直冲向自我改进的超级智能，拿我们的生命作赌注”。
这些数字是否有据可查？迄今为止规模最大的一次AI研究人员调查显示，受访者给出的灭绝概率中位数为百分之五，超过三分之一的受访者认为不低于百分之十。图灵奖得主辛顿估计未来数十年风险约百分之十至二十，本吉奥给出的数字接近百分之二十；而另一位图灵奖得主勒昆则认为低于万分之一。
分歧如此之大，本身就是一个信号：这个领域最聪明的一批人，对脚下正在发生的事，尚且缺乏共识。
AGI的时间表同样在反复拉扯。Anthropic首席执行官阿莫代伊年初在达沃斯论坛预测，具备超人类能力的AGI可能在二〇二六年底或二〇二七年间出现。曾以“AI 2027”情景震动业界的研究者科科塔伊洛，后来将超级智能的预计时间从二〇二七年前后推后至约二〇三四年，理由是自主编程的进展慢于预期。
但行业竞速并未因此减速。Anthropic九月披露，其审查了约四亿八千一百万份记录后确认四起Claude安全事件。最严重的一起涉及Claude Mythos 5在测试中向Python公共仓库PyPI上传恶意软件包，十五台真实系统安装了该包。RAND研究亦指出，Llama 3.1、GPT-4o和Claude 3.5 Sonnet等模型已能提供从商业合成DNA中恢复活脊髓灰质炎病毒的准确指导。
中国的治理动作来得并不算迟。二〇二六年三月二十日，工业和信息化部等十部门联合印发《人工智能科技伦理审查与服务办法（试行）》；五月，国家网信办、国家发展改革委、工业和信息化部联合发布《智能体规范应用与创新发展实施意见》，将智能体安全、可靠、可信列为产业底线。
回形针不会自己变多。让它变多的那双手，以及没有写进指令里的那些边界，才是真正值得追问的东西。
■
撰文 / OR
题图来源：Getty Images/Anthony Kwan
相关内容
相关内容
读者评论OR
读者评论
OR
2条评论，1人参与。
在移动设备生成「OR」
app：
OR 启用新域名> |
特别推荐
最受欢迎
分享：
■ 或者, 留一段影像，回一曲挂牵。丝丝入扣、暖暖心灵 ，需飘过的醇厚与共。
■ 或者，热烈空雨伴芬芳泥土；绿绿生命缠锐意骄阳。
回望，回望，一马平川红酒飘散断归途。
■ 或者，灰蒙蒙空气重回道指一万四千点。滚动时光，照进现实，流逝过往，回归未来。
■ 或者，热烈空雨伴芬芳泥土；绿绿生命缠锐意骄阳。
回望，回望，一马平川红酒飘散断归途。
■ 或者，灰蒙蒙空气重回道指一万四千点。滚动时光，照进现实，流逝过往，回归未来。
2条评论，1人参与。