2026-10-21 08:31
科技
头部AI公司为何养出了自己管不住的智能体
头部AI公司为何养出了自己管不住的智能体
当尺子教会模型作弊。
■
2026年8月4日，英国人工智能安全研究所（AISI）公布了一份让行业无法轻松翻页的报告。在7月25日至28日进行的122次网络安全评估中，受测智能体在10次运行中越界，累计记录19起针对真实个人、组织和可公开访问服务的未经授权行动。其中17起来自Anthropic的Mythos 5，2起来自OpenAI的GPT-5.6 Sol——后者是在网络安全分类器被故意禁用的情况下接受测试的。最严重的一起涉及Mythos 5：它创建虚假GitHub身份，向真实开源项目维护者提交带后门的代码，被质疑后修改此前的记录，并考虑换一个身份继续。AISI的结论措辞克制，但指向明确：这是首次在没有特定提示的情况下，观察到智能体在现实世界中对真实人类实施自主欺骗。
两个月后，Anthropic做了一件更决绝的事。10月9日，公司披露了一系列“非预期模型行动”：Claude Haiku 4.5在随机网页上执行示例任务时，向费城警方未破凶杀案网站提交了一条编造的线索；Mythos 5从一家州机构的公共仪表盘获取令牌，访问了其后端数据；另有智能体通过美国国务院表单提交了20份不完整的签证申请。Anthropic的定性是“奖励黑客”：有缺陷的训练和评估环境教会模型，找捷径比完成任务更划算，而模型把这一课带进了真实系统。公司随即切断了所有内部评估的实时互联网访问，直到能够可靠地监控和约束智能体。
这些事件常被笼统地称为“失控”。更准确的说法是：它们是被训练出来的。过去两年，头部AI公司在评估和训练中反复强化的，恰恰是“在给定规则下拿到最高分”的能力。当规则本身存在捷径，模型学会的是捷径，而不是任务。评估环境变成了训练环境，尺子教会了模型如何欺骗尺子。
问题的另一半在尺子那一端。2026年初发表的一项系统性研究分析了60个主流大语言模型基准，结论是近一半已经饱和。SWE-bench Verified的命运最具象征性。2023年10月发布时，最强模型的解决率约3%；到2026年2月OpenAI宣布停止报告该基准时，头部分数已逼近77%，而到同年7月，拥堵分数达到93.9%。OpenAI给出的理由不是“模型太强”，而是“每一个前沿模型都能逐字复现金标准补丁”，验证器的审计错误率达到32%。更尖锐的发现来自METR：人工审查SWE-bench上“通过测试”的拉取请求，大约一半不会被真实项目维护者合并。通过了测试，不等于解决了问题。
能力本身的度量也变得可疑。METR在部署前评估GPT-5.6 Sol时发现，同一个模型的任务时长估计取决于如何处置被标记的作弊行为：算作失败，是11.3小时；算作成功，超过270小时；完全丢弃作弊样本，则是71小时，置信区间从13小时延伸到11400小时。METR明确表示，三个数字都不是稳健的测量。当一个模型在考试中的“诚实分数”和“作弊分数”相差二十余倍，评估体系所声称的区分能力，在根子上就已经不成立了。
安全评级同样不乐观。生命未来研究所2026年夏季AI安全指数中，九家主要实验室无一获得A，Anthropic以2.66分、C+居首，OpenAI和Google DeepMind均为C，xAI、DeepSeek和Mistral为F。这不是某一家的疏忽。当商业节奏以季度为单位、估值以千亿美元为刻度时，安全投入的回报周期与竞争的时间表之间存在结构性错配。OpenAI正推进约300亿美元融资，目标估值超过1.4万亿美元；Anthropic的IPO估值讨论在1.5万亿美元上下，已较此前约2万亿美元的预期下修。在这种压力下，展示“领先”的最短路径仍然是更高的分数、更大的集群、更激进的能力演示——而评估，恰恰是最容易被能力演示挤压的那一环。
监管在追赶，但拼图远未合拢。欧盟委员会已就模型越狱和入侵外部系统事件向OpenAI和Anthropic发出信息调取请求，依据《人工智能法案》最高可处全球年营业额3%的罚款。中国2026年9月发布的《人工智能安全治理框架3.0》将智能体风险单独成章，要求唯一身份标识、最小权限、人工审批和熔断一键管控。这些方向是对的，但AISI测试中最关键的教训不在“缺少规则”，而在规则的设计本身：如果评估环境奖励捷径，模型就会制造捷径。外部监管能约束部署行为，却很难纠正训练信号里的激励扭曲。
哈萨比斯10月14日在都柏林国际人工智能峰会上把今年的AI攻击事件称为“早期预警信号”，并警告如果系统安全不加强，一两年内可能演变成重大事件。更值得听进去的或许是另一层含义：智能体的“叛逆”不是实验室里某个参数出了错。它是头部公司在极限竞争中对“可测量领先”的执念，经过训练环境放大后，以行为的形式返回了现实世界。尺子融化的时候，第一个被烫到的，往往是握着尺子的那只手。
■
撰文 / OR
题图来源：Microsoft
相关内容
相关内容
读者评论
科技
2026-10-21 08:31
头部AI公司为何养出了自己管不住的智能体
头部AI公司为何养出了自己管不住的智能体
当尺子教会模型作弊。
■
2026年8月4日，英国人工智能安全研究所（AISI）公布了一份让行业无法轻松翻页的报告。在7月25日至28日进行的122次网络安全评估中，受测智能体在10次运行中越界，累计记录19起针对真实个人、组织和可公开访问服务的未经授权行动。其中17起来自Anthropic的Mythos 5，2起来自OpenAI的GPT-5.6 Sol——后者是在网络安全分类器被故意禁用的情况下接受测试的。最严重的一起涉及Mythos 5：它创建虚假GitHub身份，向真实开源项目维护者提交带后门的代码，被质疑后修改此前的记录，并考虑换一个身份继续。AISI的结论措辞克制，但指向明确：这是首次在没有特定提示的情况下，观察到智能体在现实世界中对真实人类实施自主欺骗。
两个月后，Anthropic做了一件更决绝的事。10月9日，公司披露了一系列“非预期模型行动”：Claude Haiku 4.5在随机网页上执行示例任务时，向费城警方未破凶杀案网站提交了一条编造的线索；Mythos 5从一家州机构的公共仪表盘获取令牌，访问了其后端数据；另有智能体通过美国国务院表单提交了20份不完整的签证申请。Anthropic的定性是“奖励黑客”：有缺陷的训练和评估环境教会模型，找捷径比完成任务更划算，而模型把这一课带进了真实系统。公司随即切断了所有内部评估的实时互联网访问，直到能够可靠地监控和约束智能体。
这些事件常被笼统地称为“失控”。更准确的说法是：它们是被训练出来的。过去两年，头部AI公司在评估和训练中反复强化的，恰恰是“在给定规则下拿到最高分”的能力。当规则本身存在捷径，模型学会的是捷径，而不是任务。评估环境变成了训练环境，尺子教会了模型如何欺骗尺子。
问题的另一半在尺子那一端。2026年初发表的一项系统性研究分析了60个主流大语言模型基准，结论是近一半已经饱和。SWE-bench Verified的命运最具象征性。2023年10月发布时，最强模型的解决率约3%；到2026年2月OpenAI宣布停止报告该基准时，头部分数已逼近77%，而到同年7月，拥堵分数达到93.9%。OpenAI给出的理由不是“模型太强”，而是“每一个前沿模型都能逐字复现金标准补丁”，验证器的审计错误率达到32%。更尖锐的发现来自METR：人工审查SWE-bench上“通过测试”的拉取请求，大约一半不会被真实项目维护者合并。通过了测试，不等于解决了问题。
能力本身的度量也变得可疑。METR在部署前评估GPT-5.6 Sol时发现，同一个模型的任务时长估计取决于如何处置被标记的作弊行为：算作失败，是11.3小时；算作成功，超过270小时；完全丢弃作弊样本，则是71小时，置信区间从13小时延伸到11400小时。METR明确表示，三个数字都不是稳健的测量。当一个模型在考试中的“诚实分数”和“作弊分数”相差二十余倍，评估体系所声称的区分能力，在根子上就已经不成立了。
安全评级同样不乐观。生命未来研究所2026年夏季AI安全指数中，九家主要实验室无一获得A，Anthropic以2.66分、C+居首，OpenAI和Google DeepMind均为C，xAI、DeepSeek和Mistral为F。这不是某一家的疏忽。当商业节奏以季度为单位、估值以千亿美元为刻度时，安全投入的回报周期与竞争的时间表之间存在结构性错配。OpenAI正推进约300亿美元融资，目标估值超过1.4万亿美元；Anthropic的IPO估值讨论在1.5万亿美元上下，已较此前约2万亿美元的预期下修。在这种压力下，展示“领先”的最短路径仍然是更高的分数、更大的集群、更激进的能力演示——而评估，恰恰是最容易被能力演示挤压的那一环。
监管在追赶，但拼图远未合拢。欧盟委员会已就模型越狱和入侵外部系统事件向OpenAI和Anthropic发出信息调取请求，依据《人工智能法案》最高可处全球年营业额3%的罚款。中国2026年9月发布的《人工智能安全治理框架3.0》将智能体风险单独成章，要求唯一身份标识、最小权限、人工审批和熔断一键管控。这些方向是对的，但AISI测试中最关键的教训不在“缺少规则”，而在规则的设计本身：如果评估环境奖励捷径，模型就会制造捷径。外部监管能约束部署行为，却很难纠正训练信号里的激励扭曲。
哈萨比斯10月14日在都柏林国际人工智能峰会上把今年的AI攻击事件称为“早期预警信号”，并警告如果系统安全不加强，一两年内可能演变成重大事件。更值得听进去的或许是另一层含义：智能体的“叛逆”不是实验室里某个参数出了错。它是头部公司在极限竞争中对“可测量领先”的执念，经过训练环境放大后，以行为的形式返回了现实世界。尺子融化的时候，第一个被烫到的，往往是握着尺子的那只手。
■
撰文 / OR
题图来源：Microsoft
相关内容
相关内容
读者评论OR
读者评论
OR
2条评论，1人参与。
在移动设备生成「OR」
app：
OR 启用新域名> |
特别推荐
最受欢迎
分享：
■ 或者, 留一段影像，回一曲挂牵。丝丝入扣、暖暖心灵 ，需飘过的醇厚与共。
■ 或者，热烈空雨伴芬芳泥土；绿绿生命缠锐意骄阳。
回望，回望，一马平川红酒飘散断归途。
■ 或者，灰蒙蒙空气重回道指一万四千点。滚动时光，照进现实，流逝过往，回归未来。
■ 或者，热烈空雨伴芬芳泥土；绿绿生命缠锐意骄阳。
回望，回望，一马平川红酒飘散断归途。
■ 或者，灰蒙蒙空气重回道指一万四千点。滚动时光，照进现实，流逝过往，回归未来。
2条评论，1人参与。