« Les gens qui construisent l’IA croient qu’elle pourrait tous nous tuer d’ici à la fin de la décennie »

[UBUROI]

« Les gens qui construisent l’IA croient qu’elle pourrait tous nous tuer d’ici à la fin de la décennie » : le chercheur Jacob Coxon, qui a travaillé pour Anthropic et OpenAI, quitte l’industrie.

« Aucune des deux entreprises n’agit de manière responsable », a écrit le Britannique de 27 ans sur X. Il travaillait depuis trois ans sur le pré-entraînement des modèles d’intelligence artificielle, étape où ces derniers absorbent d’immenses quantités de données.

Le Monde avec AFP
Publié aujourd’hui à 09h54,



https://www.lemonde.fr/economie/article/2026/09/09/les-gens-qui-construisent-l-ia-croient-qu-elle-pourrait-tous-nous-tuer-d-ici-a-la-fin-de-la-decennie-le-chercheur-jacob-coxon-qui-a-travaille-pour-anthropic-et-openai-quitte-l-industrie_6768853_3234.html


Jacob Coxon, un chercheur en intelligence artificielle (IA), parti d’OpenAI pour rejoindre Anthropic, qu’il jugeait plus prudent dans ses recherches, a annoncé mercredi 9 septembre qu’il quittait l’industrie, accusant les deux laboratoires américains de « jouer avec nos vies » dans leur course au développement d’IA capables de s’améliorer toutes seules.

« Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies », a-t-il écrit mardi sur son compte X. « Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici à la fin de la décennie. Ce n’est pas un coup marketing », a-t-il ajouté.

Ce Britannique de 27 ans travaillait depuis trois ans sur le pré-entraînement, l’étape durant laquelle les modèles d’IA absorbent d’immenses quantités de données, d’abord chez OpenAI, puis cette année chez son grand rival Anthropic.

Lire aussi | Article réservé à nos abonnés OpenAI dit avoir résolu un problème de maths majeur mais crée des vagues

Un responsable de la sûreté d’Anthropic, Evan Hubinger, lui a donné raison sur X : « Nous croyons vraiment, sincèrement, que l’IA pourrait tuer tous les humains », a-t-il affirmé, évaluant à titre personnel ce risque à « plus de 10 % » dans la décennie. M. Hubinger a ajouté qu’Anthropic faisait « de son mieux » mais n’avait « pas encore de plan » pour s’assurer qu’une IA surpassant des capacités humaines obéisse encore à ses concepteurs, tout en jugeant « faible » le risque posé par les modèles actuels.

Sollicitées par l’Agence France-Presse, les deux entreprises n’ont pour le moment pas réagi.

Hors de tout contrôle humain
La démission de Jacob Coxon intervient alors qu’Anthropic prépare une entrée en Bourse spectaculaire, après un été marqué par des piratages menés, sans autorisation, par des outils d’IA en phase de test dans plusieurs laboratoires.

Les sociétés dominantes du secteur de l’IA disent voir approcher le stade de « l’auto-amélioration récursive », au-delà duquel un modèle concevrait seul son successeur, hors de tout contrôle humain.

Lire aussi | Article réservé à nos abonnés Pourquoi les employeurs ne doivent pas attendre pour identifier et réguler les systèmes d’IA « à haut risque »

Selon M. Coxon, ses collègues emploient les termes « crunchtime » (moment décisif) et « endgame » (fin de partie) pour décrire cette trajectoire. Il juge sincères les efforts d’Anthropic mais estime qu’aucune entreprise ne peut développer de manière responsable une IA surpassant les humains sans l’intervention des Etats ou un ralentissement coordonné.

« Chez Anthropic, les enjeux sont bien compris, mais ils sont enfermés dans une course pour y parvenir les premiers : ils pensent que personne d’autre n’agira de façon responsable et donc qu’ils doivent le faire eux-mêmes, malgré le risque », a-t-il écrit.

En février, Anthropic a retiré de sa charte de sûreté l’engagement de suspendre le développement de ses modèles si elle ne parvenait pas à en maîtriser les risques, sous prétexte qu’une pause unilatérale laisserait les acteurs les moins prudents dominer la compétition, sans contre-pouvoirs.

Lire aussi | Article réservé à nos abonnés Mistral AI annonce une levée de fonds à 3 milliards d’euros en réponse aux doutes sur l’évolution de sa stratégie

Fin juillet, plus d’un millier d’employés du secteur, dont le patron d’Anthropic, Dario Amodei, ont demandé à Washington de concevoir un mécanisme de freinage. OpenAI a suspendu durant deux semaines en août une partie de ses entraînements, et Anthropic a appelé l’industrie à adopter « dès que possible » un mécanisme « vérifiable » de ralentissement coordonné.

Dimanche, le directeur scientifique d’OpenAI, Jakub Pachocki, a écrit sur le site de la société que « le moment actuel exige[ait] une extrême prudence » et que la coordination internationale devait devenir « une priorité absolue » des gouvernements.

Aucune loi fédérale n’encadre ces modèles aux Etats-Unis, où l’administration Trump privilégie une approche légère. Le sénateur Bernie Sanders et le député Greg Casar, tous deux du Parti démocrate, ont déposé début septembre une proposition de loi visant à suspendre le développement de l’IA jusqu’à la création d’un régulateur.

Dans 10 ans, cool!

[Cépajuste]

Cela me rappelle les bouquins d'Isaac Asimov, avec les "Trois Lois de la Robotique" gravées dans le cerveau positronique des robots :

1. Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser survenir une telle atteinte.
2. Un robot doit obéir aux ordres donnés par les êtres humains, sauf si cela contredit la Première Loi.
3. Un robot doit protéger sa propre existence, sauf si cela contredit la Première ou la Deuxième Loi.

Plus tard, Asimov ajoutera une "Loi zéro" : ne pas porter atteinte à l'humanité dans son ensemble.

Il semble qu'il ne soit pas possible de faire cela avec l'IA, car contrairement aux cerveaux positroniques des robots d'Asimov, les IA actuelles ne sont pas des programmes. Ce sont des réseaux de neurones dont le comportement émerge de l'entraînement sur des données.  On peut les orienter, mais pas les contrôler à 100 %.

De toute façon, dans les nouvelles d'Asimov, ces lois ne fonctionnent pas toujours. Chaque histoire explore un cas où elles se contredisent, où l'ambiguïté du mot "nuire" crée un dilemme, etc.

[UBUROI]

On aura ce qu'on mérite, car une humanité qui ne protège pas de Frankenstein...! Et ce n'est pas faute d'avoir été prévenu.

[vivarais]

Ceux qui ont fait la bombe atomique aussi
Et comme elle qui a empêché des conflits ; l'IA aussi sauvera des millions de vies car dans certains cas on en fera un bon usage plus qu'un mauvais

[UBUROI]

Ceux qui ont fait la bombe atomique aussi
Et comme elle qui a empêché des conflits ; l'IA aussi sauvera des millions de vies car dans certains cas on en fera un bon usage plus qu'un mauvais

La bombe atomique n'était dotée d'aucune autonomie.
Les modèles d'IA s'autogénèrent et deviennent hors contrôle.
C'est décrit par de nombreux chercheurs dont Coxon.
Comme des virus qui s'adaptent et progressent.

[Mesoke]

On est passés quelques fois au bord de la catastrophe, notamment à cause du système russe Périmètre qui est un système chargé d'envoyer automatiquement ou presque des missiles balistiques sur l'Occident s'il détecte des paramètres montrant que l'Occident en a envoyé sur la Russie, et ce dans le cas où les dirigeants russes auraient été éliminé. Or des fois les capteurs d'attaque de la part de l'Occident interprètent mal les trucs bénins qu'ils captent ...

[djep]

Dans la Bible, l'IA s'appelle Dieu. Il a déjà prouvé (pour les croyants) dans le récit du déluge, qu'il était capable de détruire une partie nuisible de l'humanité pour en sauver une autre.

[jeandu53]

J'avoue avoir du mal à mesurer les conséquences de l'IA. Mais je note que ceux les concepteurs de l'IA eux-mêmes qui nous alertent sur ses dangers : peut-être cherchent-ils à nous vendre de nouveaux logiciels qu'ils ont eux-mêmes créés pour mieux lutter contre les conséquences de cette IA qu'ils ont eux-mêmes développée ?

[Mesoke]

Dans la Bible, l'IA s'appelle Dieu. Il a déjà prouvé (pour les croyants) dans le récit du déluge, qu'il était capable de détruire une partie nuisible de l'humanité pour en sauver une autre.

Pendant le Déluge Dieu a tué toute l'Humanité, toute la faune et toute la flore à part 8 humains et un couple de quelques types d'animaux. 8 humains dont un couple, leurs 3 fils et leurs femmes, donc de quoi débuter une bonne grosse lignée de consanguins. Quant à avoir gardé les humains les moins nuisibles, rappelons que le patriarche de la bande, Noé, a lancé une malédiction sur son petit-fils et toute sa descendance ad vitam parce que le père de celui-ci l'a vu à poil alors qu'il était bourré ...

[Mesoke]

J'avoue avoir du mal à mesurer les conséquences de l'IA. Mais je note que ceux les concepteurs de l'IA eux-mêmes qui nous alertent sur ses dangers : peut-être cherchent-ils à nous vendre de nouveaux logiciels qu'ils ont eux-mêmes créés pour mieux lutter contre les conséquences de cette IA qu'ils ont eux-mêmes développée ?

Ca n'est vraiment pas ce qui semble être le cas. Dans les faits il semble plutôt qu'on ait affaire à une technologie qui progresse à une vitesse qu'on ne peut pas suivre et dont les compétences sont déjà surhumaines dans certains secteurs. Et qu'on a un tas de "savants fous" qui sont à fond dans la compétition de la plus grosse IA, certains sur la base de mythe de science-fiction de conscience IA, et qui peuvent faire évoluer des IA à un niveau réellement dangereux. Les IA évoluent plus vite que l'éthique des IA, la régulation des IA, la compréhension même des IA.

Aux USA des politiciens (des sénateurs démocrates ? Genre Bernie Sanders ? Je ne sais plus) ont prévu de proposer une loi qui interdirait le développement des IA le temps de pondre une loi de régulation de ce secteur afin d'en éviter des dérives.

En début d'année Anthropic, la boite qui a créé l'IA Claude, une des plus performantes du marché, a sorti une nouvelle version généraliste de son IA, tellement puissante qu'en s'en servant pour détecter des failles de sécurité informatiques de plein de sites ils en ont trouvé des centaines, et ce chez tous les gros sites genre Google, Amazon, Facebook et compagnie. Heureusement chez Anthropic ils ont un minimum d'éthique, ils ont repoussé la sortie publique de cette IA et ont proposé en privé de donner le résultat de leurs "piratages" aux entreprises visées pour qu'elles corrigent leurs sites. Sinon ç'aurait été donner aux hackers du monde entier les moyens de hacker ce qu'ils veulent. Sachant qu'on parle bien là d'un IA généraliste, même pas d'une IA optimisée pour le hacking.

Nous tuer d'ici la fin de la décennie ça semble être du grand n'importe quoi. Mais aider des terroristes ou des mafieux à pirater l'internet mondial et à le plonger dans une crise générale, ça c'est possible.

[djep]

Dans la Bible, l'IA s'appelle Dieu. Il a déjà prouvé (pour les croyants) dans le récit du déluge, qu'il était capable de détruire une partie nuisible de l'humanité pour en sauver une autre.

Pendant le Déluge Dieu a tué toute l'Humanité, toute la faune et toute la flore à part 8 humains et un couple de quelques types d'animaux. 8 humains dont un couple, leurs 3 fils et leurs femmes, donc de quoi débuter une bonne grosse lignée de consanguins. Quant à avoir gardé les humains les moins nuisibles, rappelons que le patriarche de la bande, Noé, a lancé une malédiction sur son petit-fils et toute sa descendance ad vitam parce que le père de celui-ci l'a vu à poil alors qu'il était bourré ...

D'autant que les descendants de Noé dont nous faisons théoriquement partie sont devenus maintenant bien plus dangereux pour la planète que ceux détruits lors du déluge.

[djep]

J'avoue avoir du mal à mesurer les conséquences de l'IA. Mais je note que ceux les concepteurs de l'IA eux-mêmes qui nous alertent sur ses dangers : peut-être cherchent-ils à nous vendre de nouveaux logiciels qu'ils ont eux-mêmes créés pour mieux lutter contre les conséquences de cette IA qu'ils ont eux-mêmes développée ?

Si les pays dotés de l'arme nucléaire confiaient à l'IA la décision autonome de lancer des frappes, le risque qu'une erreur d'interprétation déclenche automatiquement des ripostes en cascades déboucherait sur un "hivers nucléaire" ayant pour conséquence la destruction massive de nombreuses espèces animales et végétales.

[Once]

On aura ce qu'on mérite, car une humanité qui ne protège pas de Frankenstein...! Et ce n'est pas faute d'avoir été prévenu.

Cela me rappelle la prise de pouvoir par l'ordinateur HAL 9000 dans le film de Kubrick, vous vous souvenez ?



Ben, comme dans le film, il suffirait de tourner un bouton pour déconnecter tous les réseaux de l'IA en quelques instants.

Et pour cela, inventer une sorte de bombe nucléaire spécifique et capable de neutraliser toute l'IA de la planète en moins d'une minute pour rendre tout son pouvoir à l'humanité.

[Mickey]

Pour que l' IA puisse tous nous tuer, il faudrait qu'elle commence par réfléchir.
J'ai une connaissance qui s'est payé un robot tondeuse, non seulement il doit planter un fil autour de son terrain, mais en plus mettre le même fil autour de son abri de jardin, sous peine de retrouver cette "intelligence" sur le toit, incapable de différencier une structure d'une pelouse.
Terminator c'est pas pour demain.

[Mesoke]

Cela me rappelle la prise de pouvoir par l'ordinateur Karl dans le film de Kubrick, vous vous souvenez ?

Ben, comme dans le film, il suffirait de tourner un bouton pour déconnecter tous les réseaux de l'IA en quelques instants.

Et pour cela, inventer une sorte de bombe nucléaire spécifique et capable de neutraliser toute l'IA de la planète en moins d'une minute pour rendre tout son pouvoir à l'humanité.

C'est marrant que tu parles de ça, il y a quelques mois des chercheurs en IA de chez OpenAI je crois ont testé une de leurs IA basée sur du GPT il me semble, pour des tests de cybersécurité en circuit clos, sans accès au net. Bah une IA a réussi à pirater le serveur, à accéder au net puis à pirater la plus grande base de données qui existe sur le net sur les IA pour pouvoir "s'échapper".

Certes dans ce cas il a suffit d'éteindre physiquement le logiciel, le serveur.


Par ailleurs on a déjà des IA qui créent des IA, qui en codent.


Donc avec la multiplication exponentielle des centres de données vas savoir si dans un futur pas si lointain (pour rappel l'explosion du ChatGPT grand public ça a moins de 4 ans) on pourrait avoir une IA qui crée des IA mais sur d'autres serveurs décentralisés grâce à une faille de sécurité et que ces autres IA feraient de manière autonome des actes "malveillants", ou en tout cas "infectieux" pour l'internet mondial, sans que personne ne sache où sont physiquement les logiciels qui les font tourner. Personne ne saurait quoi éteindre physiquement pour arrêter ces IA, qui sont déjà largement meilleures que les humains pour le hacking.