Pre AGI 时代的第一场大型舆论「闹剧」。
作者 | Founder Park
马斯克和「深度学习三巨头」之一的 Bengio 等一千多位学界业界人士，联名呼吁叫停 AI 大模型研究的新闻，刷屏网络，掀起轩然大波。
GPT 的研究会被叫停吗？在学界业界看来，AI 真的会对人类产生威胁吗？这封联名信是证据凿凿的警示还是徒有恐慌的噱头？支持者、反对者纷纷表态，吵作一团。
在混乱中，我们发现，这份联名信的真实性和有效性都存在问题。很多位列署名区的人们，连他们自己都不知道签署了这封联名信。
另一方面，联名信本身的内容也值得商榷，呼吁人们重视 AI 安全性的问题当然没错，可叫停 AI 研究 6 个月，甚至呼吁政府介入，等待相关规则、共识的制定。这种天真且不切实际的做法，在科技发展的历史上实属少见。
与此同时，不少人发现，OpenAI 开放了一批 GPT-4 API 的接口申请，开发者们正兴奋地想要将这轰动世界的技术成功应用在他们的产品中。Pre AGI 时代的序幕，已经缓缓拉开。
AI 会停下来吗？AI 能停下来吗？
又或者像网友所说的，你想要叫停福特 A 型车的量产吗？
在福特 T 型车退出市场后，A 型车帮助福特重新夺回汽车销量的头把交椅。
截至发稿前，Founder Park 发现，联名信签名人数从 1125 减少为 1123 人。
注：极客公园记者凌梓郡对本文亦有贡献。
01
联名信说了什么？
在 Future of Life Institute（FLI）的官网上，有着公开信的全文内容，总结如下：
公开信呼吁所有人工智能实验室，至少在 6 个月内立即暂停训练比 GPT-4 更强大的人工智能系统研究包括当前正在训练的 GPT-5。
这封信认为，具有人类竞争力的人工智能系统可能对社会和人类构成深刻的风险，因为这已经得到了广泛的研究并得到了顶级人工智能实验室的认可。
此外，该信还呼吁 AI 实验室和独立研究者们，利用这个暂停时间共同开发和实施一套共享的高级 AI 设计和开发安全协议，并由独立外部专家进行严格审核和监督。这些协议应确保遵守这些协议的系统是安全的，而且必须有充分的理由证明这种信心，并随着系统潜在影响的大小而增加。
02
发起方是谁？
Future of Life Institute：生命未来研究所创立于 2014 年 3 月，创始人为麻省理工学院宇宙学家马克斯·泰格马克，Skype 联合创始人让·塔林，哈佛大学博士生维多利亚·克拉科夫那（Viktoriya Krakovna），波士顿大学博士生、泰格马克之妻美雅·赤塔-泰格马克（Meia Chita-Tegmark）与加州大学圣克鲁兹分校宇宙学家安东尼·阿吉雷。
官网上介绍的公司使命是：
保护生命的未来，某些技术的开发和使用对地球上的所有生命有着深远的影响。目前，人工智能、生物技术和核技术就是这种情况。
如果管理得当，这些技术可以改变世界，使今天活着的人和所有尚未出生的人的生活大大改善。它们可以被用来治疗和消除疾病，加强民主进程，以及缓解--甚至阻止--气候变化。
如果管理不当，它们可能会起到相反的作用。它们可能产生灾难性的事件，使人类屈服，甚至可能将我们推向灭绝的边缘。
生命未来研究所的使命是引导变革性技术远离极端、大规模的风险，并使之有益于生命。
03
谁签署了联名信？
截至北京时间 3 月 29 日下午 16 点，公开信签名人数为 1125 人，我们整理了其中比较知名的一些学者和科技行业的从业人士等。
Yoshua Bengio：约书亚·本吉奥，加拿大计算机科学家，因其在人工神经网络和深度学习方面的研究而知名。本希奥与杰弗里·辛顿和杨立昆一起获得 2018 年的图灵奖，以表彰他们在深度学习方面的贡献。这三位也被称为「图灵三巨头」。
Stuart Russell：加州大学伯克利分校人工智能统计中心创始人兼计算机科学专业教授，一直关注人工智能领域的发展。同时，他还是人工智能领域里标准教科书《人工智能：现代方法》的作者。
Elon Musk：埃隆·马斯克，众所周知，SpaceX、特斯拉和 Twitter 的 CEO，OpenAI 的前股东。
Steve Wozniak：史蒂夫·沃兹尼亚克，苹果公司联合创始人。
Yuval Noah Harari：尤瓦尔·赫拉利，耶路撒冷希伯来大学的历史系教授，《人类简史》三部曲作者。
Andrew Yang：杨安泽，前进党创始人暨现任该党共同党主席，美国创业组织创始人、2020 年美国总统选举民主党初选候选人。
Jaan Tallinn：让·塔林，Skype 联合创始人，也是这封公开信的发起网站 Future of Life 的创始人之一。
Evan Sharp：伊文·夏普，Pinterest 联合创始人。
Emad Mostaque：Stability AI 创始人，Stability AI 成立于 2019 年，目前已经是估值超过 10 亿美元的独角兽企业，旗下产品有 Stable Diffusion 等，Stable Diffusion 是近期热门的文本生成图片的应用。
John J Hopfield：约翰·约瑟夫·霍普菲尔德，美国科学家，1982 年发明了联想神经网络，现在通常称为霍普菲尔德网络。
Rachel Bronson：雷切尔·布朗森，《原子科学家公报》总裁兼首席执行官。《原子科学家公报》由知名物理学家阿尔伯特·爱因斯坦 (Albert Einstein) 和罗伯特·奥本海默（Robert Oppenheimer）等物理学家于 1945 年创立，负责管理「末日时钟」的倒计时情况。
Max Tegmark：马克斯·泰格马克，宇宙学家，现为麻省理工学院教授、基础问题研究所科学主任。生命未来研究所的创始人之一。
Victoria Krakovna：DeepMind 的研究科学家，也是生命未来研究所的创始人之一。DeepMind 是一家英国的人工智能公司，2014 年被 Google 收购，2016 年他们开发的 AlphaGo 打败了李世石，引起不小的反响。
我们实测了提交签名的流程，在提交了个人姓名（杜撰了一个）和邮箱后，会收到这样的提示，暂时不确认后续的人工确认流程是怎样的。
03
联名信有哪些问题？
三巨头的另外两位
深度学习学界三巨头的表态必然会引人关注，Yoshua Bengio 的名字赫然列在联名者的第一位，那么另外两位态度如何呢？
泰斗级的 Hinton 还没有公开表态，但他对 OpenAI 的研究成果一直大加褒奖。
LeCun 的表态更加清晰。
有人在推特上转发这封联名信，@LeCun 说他和「深度学习三巨头」的另一位 Benjio 都签署了这封联名信。
Lecun 很快转发回应：「没有。我没有签署这封信。我不同意他的前提。」
据行业观察者猜测，LeCun 所说的前提，也许来源于两方面。
一是所谓「失控的军备竞赛」，LeCun 作为 meta AI 研究的门面，显然是参与者之一，一个月前他还在推特上推广 meta 的大语言模型 LLaMA；
二是对于当下 LLM 的研究方向，LeCun 一直保持怀疑，在 ChatGPT 刚刚引起公众关注的时候，他就表示其底层技术没有了不起的创新，只是一款组合很好的产品而已。「它们有点像那些死记硬背地学习了材料但还没有真正建立起潜在现实的深刻心智模型的学生。」
Sam Altman 的表态
在推特上，广为流传一张 OpenAI CEO Sam Altman 参与签署的截图。
但当我们现在去联名人中搜索 Sam Altman 的名字时，已经找不到了。另外，截图中有 typo，i 应该是大写 I。
这也许意味着联名信初期并没有严格的信息核查机制，填报联名的人并没有确认真实身份。借用名人（甚至很多跟 AI 没关系的名人）。
Sam Altman 近期的确讨论过关于 AI 安全性的问题。在著名播客、YouTuber Lex Fridman 的访谈中，他表示 AI 的确存在偏见、人类失业等问题，但唯一的解法是 AI 不断迭代，尽早学习，尽量避免「只有一次机会、必须做对」的情境。
这一话题的前提是，在访谈开头，Sam Altman 表达了他对 GPT-4 的看法：
「未来当我们回头看的时候，我们会认为 GPT-4 是一个非常早期的人工智能（AI），它的处理速度缓慢，有很多 Bug，很多事都做不太好。可是，早期的计算机也是这样。它们需要几十年时间的演进，但在当时仍然指明了一条道路，通往一些对我们的生活非常重要的东西。」
其他值得关注的署名者
毫无疑问，「暂停训练比 GPT-4 更强大的 AI 系统」首先会影响的就是 OpenAI 接下来的技术进展。而这对部分署名者而言，并不是一件坏事。
比如马斯克。
他正在计划组建自己的 AI 研究实验室，开发 ChatGPT 的替代品。过去几个月，马斯克对 OpenAI 相关信息狂轰乱炸，一会儿强调 AI 安全性的问题，一会儿又在酸微软投资 100 亿拿到了 OpenAI 的代码库，而他作为第一位投资者，什么都没有得到。
而一个事实是，马斯克当初退出 OpenAI，是因为特斯拉在 AI 领域的研究与当时还是开源非盈利组织的 OpenAI 的想法背道而驰。
「我仍然很困惑，一个我捐赠了 1 亿美元的非营利组织是如何变成一个市值 300 亿美元的营利性组织的。」
另一个位于前列的署名者是 Stability AI 的创始人 Emad Mostaque。
他在去年的采访中曾表示，未来模型会实现在视觉和语言等不同模态之间的信息流通，到那时候，人们说话时就可以制作出精美的 PPT，这已经被微软实现。Open AI 的发展速度也给他带来了某种慌乱。ChatGPT 让人工智能行业的竞争加剧，他曾给员工发短信:「你们都会在 2023 年死去。」
一直跟 LeCun 对战的计算机科学家 Gary Marcus 也参与了签名，但这次他的态度有所不同。
纽约大学教授 Gary Marcus（盖瑞·马库斯）一直是深度学习和大预言模型的反对者，他认为依靠海量数据来喂食大模型虽然会继续发展，但永远无法达到通用 AI 所需要的能力。在他看来，目前的通用 AI 的研发是一条死路。
他在之前与 LeCun 的关于人工智能的争论广为人知，Marcus 在 2022 年公开表示「深度学习撞墙了」，引来了深度学习三巨头中 Hinton 和 LeCun 的反驳。
不过这一次，他虽然签名了，却在自己的 Substack 上表示，他担心的不是 LLM 变成真正的通用人工智能的风险，而是现在仍然不可靠但被广泛部署的中等人工智能（New Bing 和 GPT-4）带来的风险。
还有畅销书作家，《人类简史》《未来简史》的作者尤瓦尔·赫拉利。
他一直在关注 AI 发展的临界点何时到来。在 2021 年尝试了 GPT-3 之后，就对 AI 智能的影响有所警醒，他曾在《人类简史》出版十周年之际写到，「很快，人工智能就能比我们更近了解我们自己。它是会继续做我们手中的工具，还是我们会成为它的工具呢？」
几天前，他刚刚在《纽约时报》发表文章，《你可以吃蓝药丸或红药丸，但是我们快没有蓝药丸了》。
文章中讨论了人工智能对人类的威胁，特别是 ChatGPT。他认为，ChatGPT 可能会被用来制造虚假信息、操纵人们的情感和行为、甚至取代人类的创造力和智慧。他呼吁人类采取措施，保护自己免受人工智能的侵害，同时利用它的优势。他建议人类升级自己的教育、政治和伦理制度，以适应人工智能的世界，并学会掌控人工智能，而不是被它掌控。
声明全文
以下为 ChatGPT 翻译版本，经人工编辑初校。
人类智能竞争型的 AI 系统可能会对社会和人类构成深刻的风险，这已经得到广泛的研究和顶级 AI 实验室的承认。如阿西洛马人工智能原则所述，先进的 AI 可能代表着地球生命历史的深刻变革，应该通过相应的谨慎和资源规划和管理。但是，即使最近几个月 AI 实验室陷入了一场失控的竞赛，试图开发和部署越来越强大的数字智能，甚至连他们的创造者都无法理解、预测或可靠地控制的智能，但我们并没有看到此类规划和管理的出现。
现代 AI 系统正在成为一般任务中具有人类竞争力的系统，我们必须问我们自己：我们是否应让机器用宣传和不实言论淹没我们的信息渠道？我们是否应该自动化所有的工作，包括那些充实的工作？我们是否应该开发非人类的头脑，最终比我们更多、更聪明，更过时、更能替代我们？我们是否应该冒失失去对我们文明的控制？这些决定不应该被委托给非民选的技术领导人。只有当我们确信它们的影响将是积极的，它们的风险将是可管理的时候，才应该开发强大的 AI 系统。这种信心必须得到很好的证明，并随着一个系统潜在影响的大小而增加。OpenAI 最近在关于人工通用智能的声明中指出，「在某个时刻，可能有必要在开始训练未来的系统之前进行独立审查，并对创建新模型所使用的计算速度进行限制」。我们同意。现在就是那个时候。
因此，我们呼吁所有 AI 实验室立即暂停训练比 GPT-4 更强大的 AI 系统，至少暂停 6 个月。暂停应该是公开和可验证的，包括所有关键角色。如果不能迅速实施这样的暂停，政府应该介入并实施停止令。
AI 实验室和独立专家应该利用这个暂停，共同开发和实施一套共享的安全协议，用独立的外部专家严格审核和监督。这些协议应确保符合它们的系统是安全的，超越了合理怀疑的范围。这并不意味着 AI 开发的总体暂停，而仅仅是从危险的竞赛中暂停，迈向更精确、更安全、更可解释、更透明、更强大、更可靠和更忠诚的现有先进系统。
与此同时，AI 开发者必须与决策者合作，大大加速健全 AI 治理体系的发展。这至少应包括：新的、有能力的针对 AI 的监管机构，对高度能力的 AI 系统和大量计算能力进行监视和跟踪的机构；可以帮助区分真实和合成并追踪模型泄漏的来源和水印系统；健全的审计和认证生态系统；对由 AI 造成的伤害负责的责任制；强有力的公共资金支持技术 AI 安全研究；以及处理对民主产生巨大经济和政治破坏的机构。
人类可以享有 AI 带来的繁荣未来。我们已经成功创造出强大的 AI 系统，现在我们可以收获回报，把这些系统设计为真正有益于所有人的系统，并给社会一个适应的机会。社会已经在其他可能对社会产生灾难性影响的技术上暂停了。在这里我们也能这样做。让我们享受长长的 AI 夏季，不要冒失地进入秋季。
极客一问