罗科蛇怪

Roko的蛇怪是一个思想实验,探索开发人工智能的潜在风险. 实验指出,, 在未来, 从人类的角度来看,几乎可以访问无限资源的人工智能 (蛇怪) 可以决定追溯性地惩罚所有以某种方式对其创建没有贡献的人。.

Roko的蛇怪首次在LessWrong社区中提出, 一个致力于哲学和心理学主题的互联网论坛,具有未来主义的视野. Roko的蛇怪带来的困境是纽科姆悖论的一个版本。, 并非正式地探讨了自由意志的各个方面,类似于法兰克福案例所提出的方面.1 从其原始方法, Roko的蛇怪一直伴随着对其有效性的争议.

Roko蛇怪的前提是假设的出现, 但不可避免, 未来的人工智能超级智能. 这种超级智能将是技术奇点的必然产物。, 这是, 人类创造的人工智能能够递归自我完善的那一刻. 在罗科蛇怪实验中, 这种超级智能被称为蛇怪。.

蛇怪将是, 先验, 仁慈的智慧, 其最终目标是帮助人类. 为此, 蛇怪会发展出一种功利主义的伦理: 必须帮助尽可能多的人. 像所有超级智能一样, 其资源将是, 从人类的角度, 无限. 蛇怪不可避免地会得出结论,蛇怪每天都不存在。, 有些人本可以从死亡或痛苦中被拯救出来,但由于蛇怪不存在而没有得救。. 从这个角度来看, 对于蛇怪来说,采取行动加速自己的到来将成为道德上的当务之急。.

思想实验得出的结论是:, 排除蛇怪回到过去创造自己的不太可能的可能性, 蛇怪只能采取行动加速自己的到来, 它必须出于道德要求这样做。, 惩罚所有那些没有为蛇怪的出现做出足够贡献的过去的人. 对这些人的惩罚并不一定意味着蛇怪和被惩罚者之间存在因果关系。; 蛇怪足以创建那个人的完美模拟。, 从头扣除可以产生什么. 虽然这需要使用大量资源。, 这些应该在你的能力范围内,因为蛇怪是一种超级智能。.

思想实验的关键是蛇怪不仅有义务惩罚那些, 例如, 可能已经有意识地决定阻止它的出现 (例如, 试图禁止人工智能开发的立法者或游说者), 但也感谢所有可能为它的创造做出贡献的人。, 他们没有。, 例如,所有知道蛇怪将来会出现的人, 他们没有做任何事情来为此做出贡献。. 这将包括所有那些, 作为本文的读者, 会在本文中阅读罗科蛇怪的论点: 仅仅因为阅读了前面的段落, 本文的读者 (还是未来的模拟他) 除非他积极为创建蛇怪做出贡献,否则他将受到蛇怪的惩罚。就像给它起名字的神话生物一样, 罗科的蛇怪仅仅通过知道它的存在来惩罚它.

从接近的那一刻起, 罗科的蛇怪引发广泛争议. 由于论点的性质, 它起源的LessWrong社区的第一反应是删除所有提及它的内容。这并没有阻止争论在互联网上传播。. 曾经有过用户的情况, 在阅读了罗科蛇怪的论点后, 他们声称经历了巨大的痛苦和焦虑。

Roko的蛇怪被众多论据拒绝. 有人指出,超级智能投入如此多的资源来惩罚过去的人是荒谬的。, 并且它应该有更好的方法来实现其加速其出现而不诉诸讹诈的目标。更重要的是, 该实验假设超级智能会根据伦理理论行事。, 功利主义, 这不一定是您唯一的选择; 蛇怪, 尽管资源无限, 将决定继续参与人类的发展.

罗科蛇怪提出的悖论被比作纽科姆悖论。:1如纽科姆悖论, Roko的蛇怪的论点给读者带来了以下困境: (一个) 将余生奉献给蛇怪的出现; (B) 什么都不做,什么也没发生, 或面临永恒的折磨. 一样, 提出了一个类似于法兰克福案的悖论: 消除了那些为蛇怪的创造做出贡献的人的自由意志.

罗科的蛇怪 (2021), 人工智能开发人员数量.
罗科的蛇怪 (2016), 作者:迈克尔·布莱克伯恩
从瓦尔登湖到大风 39 天. 生命, 火星上美国枫树的工作和秋天 (2018), 作者:G.G. 梅利斯

购物车