图灵奖得主Bengio最新长文：人类大脑是生物机器，一定会有超级智能AI

对不起 Dave，我恐怕并不会做这件事情。

这是 1968 年科幻电影《2001:太空漫游》中的经典场景，人工智能 HAL9000 拒绝了人类的请求，由此展开了殊死搏斗。

如今也成为深度学习巨头、图灵奖得主 Yoshua Bengio 最新博文的封面:危害人类的 AI 是如何出现的。

近几个月来，强人工智能对话系统的兴起，引发了各种 AI 风险的讨论。

即便科学家们普遍认为，有必要对人工智能进行监管，但对于「AI 系统是否会失控，进而对世界造成灾难性损害」存在深刻的分歧。

事实上，这些灾难会如何发生，存在诸多不确定性。于是 Bengio 团队做了一系列的正式定义 Rogue AI、假设和主张，并讨论了发生条件、可能情况以及规避策略。

一时间引发热议，不少学界人士站出来推荐:

在不改变原意的基础上，量子位联合 ChatGPT 做了如下编译。

Rogue AI 如何出现

定义 1:一个潜在的 Rogue AI，是一个自主的人工智能系统，其行为方式可能会对大部分人类造成灾难性伤害，可能会危及我们的社会，甚至我们的物种或生物圈。

人类大脑是一种生物机器，我们在理解和展示人类智能多个方面的原理上取得很大进展，比如从实例中学习知识和熟练运用语言。虽然我也相信人们有能力设计出有用且安全的 AI 系统，但必须遵守具体指导方针，比如限制他们的机构。

然而最新进展表明，超级智能 AI的建立离我们预期比以前更近，我们不清楚如何防止潜在的 Rogue AI 产生。

Rogue AI 是目标驱动的。当前大模型几乎没有自主能力，但正如 Auto-GPT 那样可以转化。更深入了解 Rogue AI 的产生方式，需要在技术和政策方面的努力。

AI 对齐问题以及社会竞争压力将有利于更强大、更自主的 AI 系统的产生，不自觉间就增大了 Rogue AI 诞生的可能性。

假设 1:人类水平的智力是有限的，因为大脑是生物机器。

假设 2:一台具有人类水平学习能力的计算机，通常会因为额外的技术优势而超过人类的智力。

如果假设 1 正确，那么会存在超级智能 AI 系统执行人类无法完成的任务，至少有以下方面的原因:

• 一台计算机的 AI 系统可以在任意数量计算机上进行自我复制、获取经验并聚合。

• AI 已经能相当快速阅读整个互联网的内容。

此外，人类大脑还具有进化赋予的能力，当前一些相关的 AI 研究也正在进行。至于进化需要高能量消耗，这点在 AI 上已经实现。例如训练目前最先进的大模型的一万个 GPU 集群。

定义 2:一个自主的、目标导向的智能实体会设定并努力实现自己的目标，并相应地采取行动。

需要注意的是，自主性可能产生于人类设定的目标和奖励。当主要目标是生存和繁殖，那么它将是完全自主的，这是最危险的情况。

如果这些目标不严格包括人类和生物圈的福祉，即不足以与人类的权利和价值观保持一致，那么这样的系统就有可能成为潜在的 Rogue AI。

下面这些情况都将可能导致 Rogue AI 的出现:

• 不怀好意的人类。

• 构建 AI Agent 的意外后果。除非 AI 对齐研究取得进展，否则没有强有力的安全保障。

• 企业失控。企业可以被视作特殊的人工智能，其构建模块是企业中的员工，他们大部分时间意识不到企业整体行为的后果。

• 人类对创造类人实体的迷恋。正如科幻小说 / 电影中看到的，这些实体具有情感、人类外貌甚至意识。

我认为我们应该远离那些外貌和行为都很像人类的 AI 系统，因为他们可能会变成 Rogue AI。

• AI Agents 之间进化压力的意外结果。不同人类和组织争相设计更强大的 AI 系统，成千上万的研究员给予 AI 指令，这种过程可能会激发 AI 学习更快。

以上分析和 AI 安全研究能帮助我们设计政策、降低潜在风险。

比如前阵子“暂停开发比 GPT-4 更强的人工智能系统”的呼吁，就是个很好的开端。这需要国家监督和国际协议，条约需要各国来共同达成。这类似于上世纪 50 年代关于禁止核武器条约。

为了保护公众、社会和人类免受灾难性后果，减缓高风险的人工智能研究和应用进展是值得的。

当然这也不会阻止一些有益研究，比如帮助科学家更好地理解疾病和气候变化的人工智能系统。

不过资本主义竞争本质将可能导致 Rogue AI 行为，AI 经济学家将会帮助我们设计出不依赖竞争、更关注利润最大化的经济体系，并提供足够的激励和惩罚机制。

Rogue AI 的风险是可怕的，但它也可能成为重新设计我们的社会，使之朝着更广泛福祉的方向发展，比如解决医疗、教育资源不平等问题。

首先感谢 Hinton

值得一提的是，在这篇博文的最后，Bengio 还特意感谢了 Hinton，可是放在了第一位哦~

而就在此博文发布之际，LeCun 也浅评价了他俩:

他们都不是经济学家，没有研究技术进步对劳动力市场的影响。

嗯，而他自己却经常与经济学家交流。

感兴趣的旁友，可戳下方链接学习学习: