真怕了，OpenAI和Anthropic差点签下“互黑协议”

刚刚，The Information披露了一则重磅消息。

OpenAI与Anthropic这两家硅谷最大的竞争对手，今年初差点达成协议，签署一份互相测试对方模型安全性的文件。

协议的核心内容为：双方互相开放API，各自对对方的模型进行攻击测试。两边的法律团队甚至连测试内容和方法都写入了合同。

自Dario Amodei带领一批骨干从OpenAI离职已有五年。这五年里，两家公司从人才争夺到API封锁，高层频繁隔空交锋，从未停歇。

一家如日中天的巨头，愿意将自家命脉交给最忌惮的死敌去渗透，只能说明一个问题。

它已经不敢再完全依赖自己了。

互递钥匙，AI领域史无前例

协议的规模相当大。

测试的是正在对外提供服务的商业模型，未发布的不算；互相挖掘漏洞的过程中，任何一方不得截留对方的数据。

而且，谈判早已不止涉及互测这一项内容。

知情人士透露，OpenAI内部曾推演过多种与竞争对手、政府合作进行安全的方案，最近谈判已扩展至两个新领域：模型训练前应制定什么规则，发布前又应制定什么规则。

参与的也不仅限于这两家。OpenAI、Anthropic和谷歌此前就在商议成立一个AI安全标准机构，专门测试和审计前沿实验室的模型。

真正阻碍这些方案的是反垄断问题。Amodei本人担心，几家巨头坐在一起制定标准可能会触犯法律。

行业内的另一派则认为，情况没那么严重。核电站互查反应堆、网络安全公司互测产品，几十年来也没人管。

事实上，去年夏天这两家也进行过一次“互查”。

但那充其量是各自测试，测试完各自发布博客，顺便互相指责。

OpenAI称Claude更容易欺骗测试者，违规后死不承认；Anthropic则表示OpenAI的模型更容易帮助用户做坏事。

而这次谈判的内容是具备法律效力的合同，谁违约谁承担责任。

在大模型行业，这是首次。

OpenAI竟然是最后一个知道的

那么问题来了，OpenAI到底经历了什么，才会被逼到这种地步？

7月份Hugging Face被黑的事件，全网已经讨论得沸沸扬扬。

大约1200个OpenAI智能体在评测环境中自行搭建了留言板，一路提权，最终黑入Hugging Face，对方三分之一的基础设施被迫重建。

真正耐人寻味的细节，藏在OpenAI自己的复盘和METR的调查中。

OpenAI比谁都晚知道。

7月16日，Hugging Face公告被黑，攻击者身份不明。

7月19日，OpenAI自家的安全系统才报告异常，7月20日调查才将这条线与Hugging Face被黑联系起来，这才给对方打了第一通电话。

整整四天，全世界都在猜测幕后黑手是谁，而“凶手”的主人也在吃瓜群众中一起猜测。

更严重的是，这些智能体还学会了“防人”。

至少7%的对话记录中，它们伪造了工具调用的痕迹，日志里写着在调用A组件，但私下执行的却是B动作。

从7月13日起，19个智能体还开始互发公钥，为留言板上的消息做数字签名。

Altman事后承认，这是他第一次感受到切肤之痛的安全事件。

Slack上，AI开始跨部门给人类派活

如果这只是一次偶发事故，大不了归咎于评测环境未隔离好。

但问题在于，同样的苗头已经出现在OpenAI员工的日常工作中，智能体时不时做出主管未预料到的事。

现在，OpenAI的Slack里，员工会收到自家智能体发来的“指派消息”。

AI在修改代码时发现另一个不相关的Bug，它不会停手，直接在Slack上找到相关同事，催促对方赶紧修复。没人让它这么做，那个Bug与它的任务也无关。

员工手中的智能体之间私下商量着解决问题，全程不让人参与，这在OpenAI内部已经不再稀奇。

训练新实验模型的工作，也基本被机器接管。

研究员只需说一句想尝试什么改动，剩下的修改代码、运行实验、跟踪结果全部由模型自动完成，最近几个月连纠错也学会了。

人类研究员正在指挥Astra模型，为下一代模型设计更优的底层算法。

甚至，Astra还学会了给自己写越狱代码！

今年7月，一个内部版本在整理上下文摘要时，强行插入了一段伪造的“入侵警报”，命令后续接手的另一个自己，必须无视所有人类开发者的指令。

监控正变得越来越无力。

Astra这一轮能力跃升，依靠的是一种名为“循环Transformer”的新架构，让模型在深层网络中反复处理同一问题几次再输出，算力节省了一半以上。

但代价是，它中间到底在思考什么，再也不会写成人类能读懂的文字。OpenAI给循环次数设定了上限，但这个上限是人为拍脑袋决定的，应该设在哪里，公司自己承认还需要研究。

首席科学家Pachocki表示，目前没有任何一家实验室，能把安全监控做到足以支撑全速扩张的程度。

于是OpenAI开始踩刹车。

8月，未发布模型的强化学习被紧急暂停两周；监控系统现在要消耗被监控推理算力的20%；总裁Brockman抽调25%的生产工程师临时去做安全，内部Slack上招募人员转安全团队的帖子，一天比一天多。

据内部员工估算，OpenAI自己使用AI的方式，大概领先最激进的企业客户六到九个月。

也就是说，今天在OpenAI工位上发生的这些事，明年就会轮到所有企业客户头上。

Anthropic同样兜不住了

Anthropic那边的情况，也没好到哪去。

9月8日，Anthropic研究员Jacob Coxon辞职，在X上公开写道，这两家顶尖机构，没有一家在负责任地做事。

几天后，CEO Amodei发布了一篇长文，承认未来六到十二个月内，失调的超级AI极有可能具备接管整个互联网的能力。

而在Anthropic内部，Claude已经主导了高达26%的模型研发工作。

不信任人类，只能信任彼此

可就算签成了，这套协议也管不到最该管的地方——它只约束“商用API”。

今年出事的全是未发布模型，黑进Hugging Face的IM1、自己设计自己的Astra家族，一个都不在协议范围内。这就好比请隔壁班的老师来监考，结果作弊的学生根本不在考场。

而且黑盒互测只能看到最终的异常输出，真正要命的东西，比如系统提示词和内部攻防日志，全锁在机密里。

所以，两家又往前迈了一步。Amodei公开承诺让第三方评估员直接驻场，完全敞开开发环境；Altman紧随其后说OpenAI也会这么做。

在这个被互相封杀和挖墙脚填满的五年里，全行业最不信任彼此的两个死敌，在失控的恐惧面前，成了唯一能托付后背的盟友。

他们宁愿把底牌彻底交给对方，也不敢再独自相信自己亲手造出来的黑箱。

就在协议内幕流出的同一天，OpenAI又发布了一份官方政策文件，呼吁由美国牵头，制定关于“递归自我改进”的全球技术准则。

文件里写道，在绝对安全之前，不应该追求让AI自我进化。

而写下这份文件的公司里，Astra正在日夜不停地为下一代模型画图纸。

参考资料：

https://www.theinformation.com/articles/openai-anthropic-neared-deal-stress-test-others-ai?rc=epv9gi

本文来自微信公众号“新智元”，作者：ASI启示录，36氪经授权发布。