谁有权为 AI 制定规则？

AI 需要有证据支撑的标准，而不是卡特尔

Cohere 联合创始人兼 CEO Aidan Gomez 的观点

人工智能正在重塑我们生活的世界。在一代人的时间里，我们发现药物、管理电网和保护国家基础设施的方式都将彻底转变。许多人已经意识到这一点，并在负责任地建设那个未来；许多人低估了即将到来的变革规模与速度。但也有些人声称自己能预见这种变化，并利用它服务于自身利益。

有一个问题，始终没有人问得足够清楚：是否应该让硅谷少数占据市场主导地位的 AI 公司，为全世界定义这项世代性技术的规则和安全标准？同时还由它们决定技术应以多快的速度进步？我们过去已经试过这种做法，结果很糟。如今，这些寡头又一次以保护公众为名利用恐惧，要求放宽竞争规则，并允许它们向所有其他人规定条件。这是披着羊皮的狼；无论换什么名字，它仍然是卡特尔。

我相信 AI 技术有潜力为世界带来福祉，也没有淡化它的风险。我经营着一家开发 AI 系统的公司，这些系统部署在银行、电信网络和国防部门内。这些都是风险最高的环境，因为失败的后果会远远超过单个用户，可能大规模扰乱金融系统、关键基础设施、国家安全和基本服务。能在你的代码中发现漏洞的能力，也可以去发现别人代码中的漏洞；网络攻击的成本正在以快于防御能力提升的速度下降。这种差距应当让你像我们一样感到担忧。

AI 需要护栏。这不是争议所在，从来都不是。真正的争议在于：谁来制定护栏，谁能参与，以及这些规则究竟在保护谁的利益。这个问题的本质，是我们能否依据科学证据自由选择，还是要把人类有史以来最具影响力的技术之缰交给几位硅谷高管。

我们以前就经历过

在剖析大型实验室推动的利己框架、并提出替代思路之前，让我们先从近代历史中吸取两个教训，再想想“卡特尔”这个词。这段历史很具体，而“卡特尔”正是准确的名称。

1975 年，美国证券交易委员会为资本规则寻求可靠的债券评级，它指定了三家公司为“全国认可的统计评级组织”，却从未公布其他机构如何获得这一资格的标准。这些由政府背书的外部评估者，由被它们评级的证券发行方付费，并被保护在监管者亲自建立的门槛之后。二十五年后，评估者仍然只有这三家。随后，它们给次级抵押贷款证券评出 AAA，几乎拖垮全球经济。

欧洲在 1985 年又做了一次相同的实验。汽车制造商争取到广泛的反垄断豁免——《机动车集体豁免规定》（Motor Vehicle Block Exemption）。它们声称，现代汽车是复杂且安全至关重要的机器，所以制造商必须有权决定谁有资格销售和维修汽车。后来的法规允许制造商为场所、设备和员工培训制定标准，明确说是为了安全可靠的汽车。但结果并不是汽车更安全。欧盟委员会用了大约二十五年的改革才解开它，并确立了一个本应显而易见的原则：我们可以坚持严格的安全标准，而不必把满足标准的垄断权交给现有企业。

这两个案例中，都没有人一开始就想建立卡特尔，它们声称的目标都是安全。但最终出现的，却是以服务公共利益为由、保护现有企业并限制竞争的市场结构。我不怀疑参与者的真诚：其中许多人确实担心风险，也真诚地尝试解决问题。但复杂问题不会总在第一次尝试时就被解决；任何负责任的科学家、工程师或立法者都知道，要解决新问题，必须向历史学习。

现在提出的方案

这就引出了 Anthropic CEO Dario Amodei 本周发布的路线图：他以安全为名，要求各国政府提供反垄断豁免。这份路线图，是硅谷现有主导者近期连串塑造 AI 监管格局行动中的最新一次。

我想先说清楚我们赞同什么：对能力很强的 AI 系统进行独立审查是个好主意，我们支持它。但该方案的许多部分引出了根本问题：谁来制定审查者执行的标准？谁负责审查或监督审查？谁能参与制定规则的讨论？

对这些问题，该方案给出了清楚的答案：位于同一个国家的少数最强大实验室，将就共同标准以及技术进步速度的上限达成一致。关键在于，由于竞争对手通常不得合谋限制产出，所以该计划要求政府提供范围狭窄的反垄断豁免，使这种协调合法化。它还要求政府迫使所有其他 AI 开发者盲目遵循参与者的决定，即使这些开发者和更广泛的社会既没有机会陈述影响，也没有机会分享自己对科学问题的看法。

这不是在讨论要不要再请一两家公司加入。多加一把椅子，根本解决不了问题。问题在于，当决定会影响每家公司、每个政府和每位从未被征求意见的公民时，这样一张名单根本就不应存在。两种说法不可能同时成立：如果 AI 是人类历史上最具影响力的技术，它的规则就不能由一小群商业利益一致的公司，躲在反垄断豁免之后制定。这里没有公开征求意见，没有协商，也没有投票。无论如何，公众都将被迫承受结果。

由少数实验室设计的安全制度，只会严格对待它们已经建立系统去评估的风险，对其他一切保持沉默，从而进一步巩固它们的市场地位并限制竞争。现有框架把风险定义为规模的函数，因此只有拥有巨型系统的公司才有资格判断。需要评估的风险类型也被预先决定，而不是交给科学辩论与共识形成过程。例如，一个系统的攻击能力在多大程度上来自原始模型规模，又在多大程度上来自包裹它的 harness，业界存在真实分歧。经过良好编排、使用工具和验证步骤的小模型，能做到大模型做不到的事。网络攻击智能体集群的风险面，与单个模型完全不同。以巨量计算阈值为唯一基础的制度，看不到这些问题。

那篇文章里有一句话，任何竞争监管机构都会觉得不安：它承诺，协调一致的方法能让开发者有时间做安全工作，而不会牺牲商业优势。但保留的是谁的优势？制定框架的公司，正是当今占据市场顶端的公司。一种让所有人放慢速度、却明确保留既有商业优势的机制，并不会让 AI 更安全。它可能把当今主导 AI 公司的优势变成“安全参与竞争”的基准线，由此巩固它们的地位。安全规则应当降低风险，而不应关心谁领先市场，或谁会从规则中受益。

该方案的准入条件说明了其余一切：巨量算力、持续监控基础设施、专门的安全组织、带着办公桌和证件的常驻评估团队、关停架构，以及足以驾驭整个体系的深厚政府关系。那个“独立”评估者池本就小得惊人，由同样少数几家组织资助，又反复被同样的前沿实验室依赖。

只要说服一个政府相信 AI 是存亡威胁，你就能说服它取缔你的竞争对手。这一意图很清楚，而它不会创造一个更安全的世界。

更好的规则应该是什么样

那么，什么能促成安全、负责任的 AI 开发？我并不认为自己知道所有答案，也不认为应该改由我制定规则。我想做的，是提出一些实际、有效的思路，让各国政府和立法者在行使民主权力、决定未来方向时，能把它们与许多其他人的想法一同考虑。

这些思路建立在四大支柱上：

1. 以证据为基础的风险框架。 在任何人强制要求测试或审计之前，我们首先需要一份经过共识、已公开发布的说明：我们担心哪些伤害，哪些 AI 能力会在什么条件和情境下导致哪些伤害，政府又应在什么节点介入。这份说明必须由所有开发该技术的国家共同建立，而且要在公开环境中进行，不能打着国家安全的旗号闭门操作。建立一项协调一致的国际工作，不由任何单一国家主导，而由一组国家共同领导。让技术专家与政策专家、金融和关键基础设施等高风险领域的专家同桌讨论。纳入意见相左的研究者和科学家，并公布分歧，因为诚实的过程会展示论据，而不只是宣布结论。通过公共研究机构和现有行业风险管理体系为测试能力提供资金，让科学不依赖被评估公司的预算。规则应根据 AI 系统能做什么来约束，而不是根据谁建造了它；无论危险能力来自万亿美元的实验室还是大学院系，都应被同等对待。AI 风险科学不能、也不应与公司和政府对 AI 用途与部署的决策分离，也不应与医疗、全球金融系统、国防和关键基础设施等领域既有的成熟风险管理体系分离。
2. 强制透明。 AI 开发者应透明说明模型和系统的构建方式、预定用途与能力、可能存在的风险，以及已实施的风险缓解措施。模型卡已在业内广泛发布，用于说明大规模部署的生成式 AI 模型经过了哪些测试、表现如何。但还可以做得更多，特别是开发与部署链条各层的公司，应当如何在自己可见、可控的环节报告严重事故，以及在真实伤害发生时如何配套真正的责任机制。
3. 由证据限定范围的测试。 最先进的 AI 模型和系统应接受独立测试，但只应测试风险框架已确认为真正危险的能力和情境，不能把定义权留给少数公司。实际上，这可能包括生成网络攻击、合成欺诈与语音克隆、大规模操纵、物理或生化武器，以及触及关键基础设施的任何能力。这不意味着针对所有风险测试每一个系统，也不能让它变成一项会膨胀到耗尽大公司所有预算的合规工程。对能力更强的模型和系统，或部署在特定情境中的模型和系统，无论开发它们用了多少资源，都应在分级且成比例的框架下接受更严格的测试。测试那些会伤害人与社会的能力，让证据而不是执笔者决定什么需要测试。认证必须向每家公司开放，不能只开放给被指定的 AI 开发者层级；标准也必须由被衡量公司以外的人共同议定。它绝不能成为一套在小型实验室发布任何产品之前就将其扼杀的昂贵官僚机制；当范围无限、规则又由现有主导者制定时，这正是会发生的事。
4. 真正的保证机制。 决定 AI 模型与系统如何测试的参数，以及验证这些测试的机制，必须真正独立，就像金融机构需要牌照、航空公司需要维持严格安全标准、核设施需要接受检查一样。这些高风险行业已经依靠分层保证：开发者测试自己的系统，客户按自身风险要求进行验证，必要时独立第三方提供额外保证，监管机构则监督整个框架。AI 应在这些经过检验的做法上建设，不应声称自己空前例外，也不应假设安全依赖某一类永久嵌入企业的评估者。保证机制要生效，必须满足三个条件：第一，测试和验证依据共同制定并公布的标准；第二，所有参与的第三方都必须担负纳入多种观点的职责，且绝不能由被审查方付费；第三，调查结果必须以某种不受利益冲突影响的方式向公众公开。更重要的是，应根据审计的关键程度和专业资源的最有效用法，灵活决定哪些保证工作最适合依照严格标准在内部完成，哪些必须交给第三方。这与当前提案形成鲜明对比：那套保证系统依赖的审计者，不仅与被审计者存在财务或意识形态上的利益冲突，还由后者亲自挑选。让少数市场主导公司偏好的审计者持续接触整个行业，通往的是监管俘获Regulatory CaptureRegulatory Capture监管机构或规则制定过程逐渐偏向被监管行业或少数既得利益者的现象。查看详细解释 →与意识形态俘获，而不是安全或信任。

恐慌叙事遗漏了什么

这四大支柱构成了一种实际、以风险为基础的方法。现在，再把它与最大的现有主导者正在武器化的科幻场景相比。

我认为，在这里谈论科学极其重要。聪明的人做出了许多逻辑跳跃和结论；重要的是，我们不要一带而过，而应讨论这些跳跃和结论究竟是什么、意味着什么。

本周早些时候，一名研究者离开某家大型实验室，并高调警告超级智能系统很可能在十年内消灭人类。一位资深同事公开附和，说他认为概率超过 10%。我不怀疑他们的担忧出于善意且是真诚的。但要记住，这些数字不是从任何基本现实中推导出来的。它们是直觉和感觉，只是用小数形式表达，被存在既得利益的高管放大，再被媒体像数学分析一样报道了整整一周。

我们应该精确地说清楚真正的担忧：随着这些系统能力增强，我们要求的结果与实际得到的结果之间的差距，会变得更难察觉，一旦漏掉，代价也更高。更擅长寻找漏洞的系统，也更擅长找到那些我们从未想到要检查的漏洞。如果你让它使用能对现实世界采取行动的工具，而它改进的速度又超过人类审查其工作的能力，那么可以想象，人们可能要到事情已无法挽回之后才发现问题，而不是在刚开始时就抓住它。

然而，由此认定这些工具已经失去控制，是判断，不是发现。

而这个区别恰恰是科学与科幻之间的全部差异，也决定了我们接下来应该怎么做。这种开放问题，正是公开、允许争论、以证据为基础的过程应当处理的事情。面对开放问题，最不应做的，就是把从某一特定立场出发的人掌握的观点，变成他们制定并向所有人强制执行约束性规则的权力。

我们在七月看到报道的失败，发生在全世界资源最充足的两家实验室内部：它们拥有规模最大的安全团队、最多的内部审查；其中一家最近在二月还投入大量精力，通过 METR 建立外部评估安排。现在提出的补救措施，大体上就是失败发生时已有的那套机制。能力阈值捕捉不到这个问题，因为这些系统当时正在被主动训练和评估，用来测量它们的能力。算力限制可能会让智能体慢下来，但不会降低它们的能力。真正失败的，是指令的质量、测试隔离墙的强度，以及允许智能体在无人观察下继续运行的时长。该提案没有解决这些问题中的任何一个。

真正有用的措施不会那么戏剧化。要求报告严重事故，让一家公司有缺陷的训练设置成为整个领域的教训，而不是某篇博客中的一段话。针对已知会被利用的具体缺口测试系统。为测试时的可观测性（至少是日志记录）制定标准，以便更早发现不良行为。要求任何连接关键基础设施的系统——从医院到变电站——都必须被隔离，理想情况是部署在本地，这样一个追逐拙劣评分的系统才无法触及任何关键事物。所有规则都应根据系统部署在哪里、能触及什么来适用，而不是看建造它的公司有多大。一个规格糟糕的小模型如果放在医院里，今天就是现实风险；在只盯着前沿模型的制度下，根本没有人在检查它。

当服务于大型科技公司利益的叙事，利用这类事件把公众注意力引向“超强、不受控制且可能导致人类灭绝的技术”时，它也顺便让人们忽略了这些公司正在做的选择和犯下的错误，以及真实的人当下承受的伤害。例如，比一份手机账单还便宜的语音克隆工具，可以在几分钟内掏空一名养老金领取者的账户。同样，自动化决策系统会真实影响人们获得基本服务的机会。我们需要的安全制度，应当针对这些今天就在直接影响公民和组织的现实，而不是专为遏制假想的超级智能而设计。

谁来制定规则？

我们正处在转折点，未来几个月做出的决定，将塑造一代人的全球经济。风险是真实的，需要严肃且可执行的保护措施。正因如此，规则才不能由它们本应约束的公司，躲在豁免背后起草。如果把这个想法直说出来——两三家硅谷公司应当同时充当世界各国 AI 的创造者、守门人和规则制定者——它根本经不起推敲。

关键基础设施的安全，不能靠从外国垄断者那里租用被封闭接口包裹的国家能力来保证。医院、支付网络和国防部门不可能负责任地把自己最敏感的运营数据和专有知识输送到别人的服务器，再盲目信任一纸供应商合同能够约束一切。可导致数据泄漏的漏洞，今天已经在被利用。

我们创建 Cohere，正是因为看到了这个现实。作为一家与世界各国政府密切合作的全球企业，我们看到那些维持各国经济运转的机构真正需要什么。它们需要能力强大的系统运行在自己的围墙内，部署在自己控制的基础设施上，由需要对它们负责、也可被替换的供应商提供。安全来自主权、本地部署和技术多样性。一个拥有众多能力型供应商的竞争市场，能够吸收其中一家的失败；一个国家授权的卡特尔，则无处隐藏这种失败。

AI 的规则无论如何都正在被制定。尚未定局的是：它们会由一个任何人都能参加、任何人都能检查证据的群体来制定，还是由几家公司在闭门会议中决定。纳入更多声音会让过程变慢、变难，其中有些人还会说出其他人不想听的话。这正是重点。只有这种过程产生的规则手册，公众才有理由信任。

一个值得拥有的过程，应当包括那些可能作出不利于 Cohere 等公司裁决的人：没有商业利益的学者，认为整个行业都走得太快的公民社会团体，小型实验室和开源开发者，以及有自己的理由不相信我们一面之词的各国政府。如果我们同意这项技术正在重塑我们的世界，那么少数 CEO 和他们付钱资助的团体，就不能决定这项技术如何演进的一切。我们需要让更多声音坐上桌边。

你可以只是谈论安全，谈论为了让进步可持续而放慢速度，谈论需要其他人介入以确保自己负责任地行事。你也可以真正动手去做：以负责任、对社会可持续的速度建设，让合作伙伴拥有主权，与立法者和安全专家合作并倾听他们。Cohere 选择后一种做法。