Le basilic de Roko est une expérience de pensée qui explore les risques potentiels du développement d’une intelligence artificielle. L’expérience indique que, à l’avenir, Une intelligence artificielle avec un accès à des ressources presque illimitées d’un point de vue humain (Le Basilic) pourrait décider de punir rétroactivement tous ceux qui, d’une manière ou d’une autre, n’ont pas contribué à sa création..
Le basilic de Roko d’abord proposé dans la communauté LessWrong, un forum Internet dédié aux sujets de philosophie et de psychologie avec une vision futuriste. Le dilemme posé par le basilic de Roko est une version du paradoxe de Newcomb., et explore de manière informelle des aspects du libre arbitre similaires à ceux soulevés par les affaires de Francfort.1 De son approche originale, Le basilic de Roko a été accompagné d’une controverse sur sa validité.
La prémisse du basilic Roko est l’avènement hypothétique, mais inévitable, d’une superintelligence artificielle dans le futur. Cette superintelligence serait le produit inévitable de la singularité technologique., C’est, Le moment où une intelligence artificielle créée par l’humanité a pu s’auto-améliorer récursivement. Dans l’expérience du basilic Roko, Cette superintelligence s’appelle le basilic..
Le basilic serait, a priori, Une intelligence bienveillante, dont le but ultime serait d’aider la race humaine. Pour ce faire, Le basilic développerait une éthique utilitariste: doit aider autant d’êtres humains que possible. Comme toute superintelligence, Ses ressources seraient, D’un point de vue humain, Illimité. Le basilic conclurait inévitablement que chaque jour le basilic n’existait pas., Il y avait des gens qui auraient pu être sauvés de la mort ou de la souffrance, mais qui n’ont pas été sauvés parce que le basilic n’existait pas.. De ce point de vue, Pour le basilic, il deviendrait un impératif moral d’agir pour hâter son propre avènement..
L’expérience de pensée conclut que, excluant la possibilité improbable que le basilic ait voyagé dans le temps pour se créer, Le basilic ne peut agir que pour accélérer son propre avènement, Et elle doit le faire par impératif éthique, Punir tous ceux du passé qui n’ont pas fait assez pour contribuer à l’avènement du basilic. La punition de ces personnes n’impliquerait pas nécessairement une interaction causale entre le basilic et la personne à punir.; Il suffirait que le basilic crée une simulation parfaite de cette personne., Ce qui pourrait être généré par déduction ab initio. Alors que cela nécessiterait une immense quantité de ressources à utiliser., Ceux-ci devraient être à votre portée puisque le basilic est une superintelligence..
La clé de l’expérience de pensée est le fait que le basilic ne serait pas seulement obligé de punir les personnes qui, par exemple, peut avoir consciemment décidé d’entraver son avènement (par exemple, Législateurs ou lobbyistes ayant tenté d’interdire le développement d’une intelligence artificielle), mais aussi à tous ceux qui ont pu contribuer à sa création., Ils ne l’ont pas fait., comme par exemple tous ceux qui connaissaient la possibilité qu’à l’avenir le basilic voit le jour, Et ils n’ont rien fait pour y contribuer.. Cela inclurait tous ceux qui, en tant que lecteur de cet article, aurait lu dans cet article l’argument du basilic de Roko: par le simple fait d’avoir lu les paragraphes précédents, Le lecteur de cet article (ou une simulation future) il serait puni par le Basilic s’il ne contribuait pas activement à la création du Basilic. Comme la créature mythologique qui lui donne son nom, Le Basilic de Roko punit simplement en connaissant son existence.
Dès son approche, Le basilic de Roko a suscité une vaste controverse. En raison de la nature de l’argument, la première réaction de la communauté LessWrong d’où il est originaire a été de supprimer toute mention de celui-ci. Cela n’a pas empêché l’argument de se répandre sur Internet.. Il y a eu des cas d’utilisateurs qui, après avoir lu l’argument du basilic de Roko, Ils ont affirmé éprouver une grande détresse et anxiété.
Le basilic de Roko a été rejeté avec de nombreux arguments. Il a été souligné qu’il serait absurde pour la superintelligence de consacrer autant de ressources à punir les gens du passé., et qu’il devrait disposer de meilleurs moyens pour atteindre son objectif d’accélérer son avènement sans recourir au chantage. Encore plus important, L’expérience suppose que la superintelligence se comporterait selon une théorie éthique., Utilitarisme, ce qui n’est pas nécessairement la seule option que vous auriez; et que le basilic, Malgré ses ressources infinies, déciderait de continuer à participer au développement de l’humanité.
Le paradoxe posé par le basilic de Roko a été comparé au paradoxe de Newcomb.:1comme dans le paradoxe de Newcomb, l’argument du basilic de Roko pose au lecteur le dilemme suivant: (UN) consacrer le reste de sa vie à contribuer à l’avènement du basilic; (B) Ne rien faire et rien ne se passe, ou faire face à un tourment éternel. De même, pose un paradoxe similaire à celui des affaires de Francfort: élimine le libre arbitre de ceux qui contribuent à la création du Basilic.
Basilic de Roko (2021), Nombre de développeurs A.I..
Basilic de Roko (2016), par Michael Blackbourn
De Walden à Gale en 39 jours. Vie, travail et automne d’un érable américain sur Mars (2018), par G.G. Méliès