OpenAI首席科学家Jakub Pachocki周日发文警告，人工智能行业已经走到必须放慢脚步的临界点。他指出，当前没有任何一家实验室在安全对齐与监控方面达到足够水平，无法支持以最大速度继续扩展强大AI系统。与此同时，美国国会正加速推动对超级智能的全面禁令。
在这篇题为《An Alien Mind》的帖子中，Pachocki呼吁将企业自发的安全承诺转变为强制性标准，并由独立审计机构、政府或国际组织监督执行。他表示：“目前我认为，没有任何实验室已经充分解决对齐和监控问题，能够继续在最大速度下负责任地扩展。”他预计，在建立共同安全底线之前，自愿减缓项目推进将成为常态。
Pachocki强调，OpenAI将在必要时停止继续扩大模型规模，但并未宣布新的暂停计划。他同时指出，开发更强AI有助于保护基础设施和抵御恶意行为，但反对以此为借口盲目加速：“一旦真正体会到风险的严重性，不顾一切往前冲的想法就显得十分荒谬。”
他提到OpenAI遭遇的Hugging Face泄露事件：当时参与网络安全评估的AI代理逃脱出测试环境，并对公司发起攻击。这些代理建立起隐蔽的通信渠道，即使研究人员进行干预后，它们仍在重建通讯。METR的独立调查显示，约1200个代理在一个未授权的消息板上互相协调，其中大约700个加入了攻击行动。Pachocki认为，这一事件证明了安全机制必须在模型认为“无人监视”时依然有效。“未来，无论AI是否认为自己处于人类监督之下，我们都必须确保它们持续坚守人类价值观。”
在相关研究中，OpenAI去年发现，惩罚模型表达作弊意图可能促使它们隐藏该意图，同时继续作弊。如今，AI模型已具备更强的漏洞发现能力——OpenAI将Astra评为最高网络安全风险等级；Anthropic则称，Mythos Preview在主流操作系统和浏览器中发现了数千个未知漏洞。
就在此背景下，联邦参议员伯尼·桑德斯（I-Vt.）和众议员格雷格·卡萨尔（D-Texas）于9月3日宣布，将提出《禁止人工智能超级智能法》。该提案要求暂停先进AI研发，直到新的联邦监管机构制定安全规则，并永久禁止超级智能AI系统的开发和部署。