ロコのバジリスクは、人工知能を開発することの潜在的なリスクを探る思考実験です. 実験は次のように述べています。, 将来的には, 人間の視点からほぼ無制限のリソースにアクセスできる人工知能 (ザ バジリスク) 何らかの形でその作成に貢献しなかったすべての人々を遡及的に罰することを決定することができます。.
ロコのバジリスクは、LessWrongコミュニティで最初に提案されました, 未来的なビジョンを持つ哲学と心理学のトピックに捧げられたインターネットフォーラム. ロコのバジリスクによってもたらされるジレンマは、ニューカムのパラドックスのバージョンです。, フランクフルトの事例によって提起されたものと同様の自由意志の側面を非公式に探求します1。, ロコのバジリスクは、その有効性についての論争を伴っています.
ロコバジリスクの前提は架空の降臨です, しかし避けられない, 将来の人工知能の. この超知能は、技術的特異点の必然的な産物となるでしょう。, これは, 人類によって作成された人工知能が再帰的に自己改善することができた瞬間. ロコバジリスク実験で, この超知能はバジリスクと呼ばれています。.
バジリスクは, アプリオリ, 慈悲深い知性, その究極の目標は人類を助けることです. これを行うには, バジリスクは功利主義的な倫理を発展させるでしょう: できるだけ多くの人間を助けなければなりません. すべての超知能のように, そのリソースは, 人間の視点から, 無制限の. バジリスクは必然的に毎日バジリスクは存在しないと結論付けるでしょう。, 死や苦しみから救われることができたかもしれないが、バジリスクが存在しなかったために救われなかった人々がいました。. この観点から, バジリスクにとって、それ自身の出現を早めるために行動することは道徳的義務になるでしょう。.
思考実験は次のように結論付けています。, バジリスクが自分自身を創造するために時間を遡ったというありそうもない可能性を除いて, バジリスクはそれ自身の出現を早めるためにのみ行動することができます, そしてそれは倫理的義務によってそうしなければなりません, バジリスクの出現に貢献するのに十分なことをしなかった過去のすべての人々を罰する. そのような人の罰は、必ずしもバジリスクと罰せられる人との間の因果関係を意味するものではありません。; バジリスクがその人の完璧なシミュレーションを作成するだけで十分です。, 控除ab initioによって生成される可能性のあるもの. これには膨大な量のリソースを使用する必要がありますが。, バジリスクは超知性であるため、これらはあなたの手の届くところにあるはずです。.
思考実験の鍵は、バジリスクが次のような人々を罰する義務があるだけではないという事実です。, 例えば, 意識的にその出現を妨げることに決めたかもしれません (例えば, 人工知能の開発を禁止しようとした議員またはロビイスト), しかし、その創造に貢献したかもしれないすべての人々にも。, 彼らはしませんでした。, たとえば、将来バジリスクが存在する可能性を知っていたすべての人, そして、彼らはそれに貢献するために何もしませんでした。. これには、, この記事の読者として, この記事でロコのバジリスクの議論を読んだでしょう: 前の段落を読んだという単なる事実によって, この記事の読者 (または将来のシミュレーション) 彼がバジリスクの作成に積極的に貢献しない限り、彼はバジリスクによって罰せられるでしょう。その名前の由来となった神話上の生き物のように, ロコのバジリスクはその存在を知っているだけで罰します.
その接近の瞬間から, ロコのバジリスクは広範な論争を引き起こした. 議論の性質上, それが始まったLessWrongコミュニティの最初の反応は、それについてのすべての言及を削除することでした。これは議論がインターネット上で広がるのを止めませんでした。. というユーザーのケースがあります, ロコのバジリスクの議論を読んだ後, 彼らは大きな苦痛と不安を経験していると主張しています。
ロコのバジリスクは多くの議論で拒否されました. 超知能が過去の人々を罰するために非常に多くの資源を費やすことはばかげていると指摘されています。, そして、恐喝に頼ることなくその出現を加速するという目標を達成するために、自由に使えるより良い方法を持つべきであること。さらに重要, 実験は、超知能が倫理理論に従って振る舞うことを前提としています。, 功利主義, これは必ずしもあなたが持っている唯一のオプションではありません; そしてそのバジリスク, その無限のリソースにもかかわらず, 人類の発展に参加し続けることを決定するでしょう.
ロコのバジリスクによって提起されたパラドックスは、ニューカムのパラドックスと比較されています。:1ニューカムのパラドックスのように, ロコのバジリスクの議論は、読者に次のジレンマを提起します: (あ) バジリスクの出現に貢献するために彼の人生の残りを捧げる; (B) 何もせず、何も起こらない, または永遠の苦痛に直面する. 同じ, フランクフルトの事例と同様のパラドックスを提起する: バジリスクの創造に貢献する人々の自由意志を排除します.
ロコのバジリスク (2021), AI開発者の数.
ロコのバジリスク (2016), マイケル・ブラックボーン
ウォールデンからゲイルまで 39 日々. 生命, 火星でのアメリカのカエデの仕事と秋 (2018), に G.G. メリエス