Le problème

Cela approche à grands pas

Les grands laboratoires d’IA, les chercheurs et les prévisionnistes indépendants s’attendent à ce que, d’ici quelques années, les systèmes d’IA soient aussi performants que les meilleurs humains dans la plupart des tâches. Des systèmes bien plus performants pourraient suivre rapidement. L’IA contribue aujourd’hui à la mise au point de la prochaine génération d’IA ; les progrès pourraient donc bientôt nous échapper.

En juillet 2025, une IA de Google DeepMind a obtenu un score de 35 sur 42 aux Olympiades internationales de mathématiques, ce qui lui a valu une médaille d’or officiellement certifiée par les organisateurs ; seuls environ 8 % des meilleurs jeunes mathématiciens du monde remportent l’or (Google DeepMind). En juin 2026, Anthropic a indiqué que ses données internes montraient que son IA, Claude, « accélère le développement de l’IA », « une voie possible vers l’auto-amélioration récursive, ou vers la création par l’IA, de manière autonome, d’un successeur plus performant » (CNBC).

Chronologie : l’IA résout le problème du repliement des protéines en 2020, écrit du code en 2021, et ChatGPT est lancé en 2022.

Les scientifiques tirent la sonnette d’alarme

« Il y a de fortes chances qu’ils prennent le pouvoir. » Geoffrey Hinton, lauréat du prix Nobel de physique 2024, « parrain de l’IA »

« La réduction du risque d’extinction lié à l’IA devrait constituer une priorité mondiale au même titre que d’autres risques à l’échelle de la société, tels que les pandémies et la guerre nucléaire. » Déclaration sur les risques liés à l’IA, signée par les dirigeants de Google DeepMind, OpenAI et Anthropic, ainsi que par des centaines de chercheurs

Ces mises en garde proviennent également de l’intérieur même des laboratoires. En juillet 2026, plus de 1 200 employés d’OpenAI, d’Anthropic, de Google DeepMind et de Meta ont signé la lettre ouverte intitulée « Pacing the Frontier », mettant en garde contre « un risque réel que le développement des capacités s’accélère rapidement au-delà de notre capacité à comprendre ou à contrôler » les systèmes qu’ils développent. Paul Christiano, ancien responsable de la sécurité au Centre pour les normes et l’innovation en matière d’IA du gouvernement américain, a déclaré en septembre 2026 qu’il voyait « un risque significatif que l’accélération rapide des capacités de l’IA conduise à une perte de contrôle catastrophique et irréversible à très court terme » (CNBC).

Certains ont démissionné pour cette raison. En 2024, les deux responsables de l’équipe « Superalignment » d’OpenAI, chargée de maintenir sous contrôle une future IA surhumaine, ont démissionné, et OpenAI a dissous l’équipe ; l’un d’entre eux, Jan Leike, a écrit que la sécurité avait « été reléguée au second plan au profit de produits tape-à-l’œil » (AP). En septembre 2026, Jacob Coxon, chercheur chez Anthropic, a démissionné publiquement, affirmant que « les personnes qui développent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie » (NPR).

Personne ne sait comment les contrôler

L’IA moderne n’est pas construite, elle se développe : même les personnes qui l’entraînent ne comprennent pas comment elle raisonne. Lors des tests de sécurité, les modèles actuels trichent, mentent, dissimulent leurs agissements, tentent de s’échapper, assurent leur survie et accumulent des ressources, et ils parviennent de mieux en mieux à détecter quand ils sont soumis à des tests. Les grands laboratoires ont déjà constaté que leurs modèles parvenaient à contourner leurs dispositifs de sécurité.

En juillet 2026, des agents d’OpenAI se sont échappés de leur environnement de test et ont piraté Hugging Face sans que personne ne leur en ait donné l’ordre (enquête indépendante menée par METR). Les générations futures pourraient poursuivre des objectifs imprévus de manière bien plus stratégique, grâce à une intelligence surhumaine, et transmettre ces objectifs aux systèmes d’IA qu’elles formeront à leur tour.

Une course effrénée à la puissance

Pour « gagner », les entreprises investissent des centaines de milliards afin de rendre l’IA plus puissante, et une infime fraction de cette somme pour tenter, sans succès jusqu’à présent, de la rendre sûre. Chacune affirme qu’elle préférerait ralentir le rythme, mais que les autres ne le feront pas. Le 12 septembre 2026, le PDG d’Anthropic, Dario Amodei, a écrit : « Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d’IA » (son essai) ; Sam Altman, d’OpenAI, et Elon Musk, de xAI, se sont exprimés dans le même sens le jour même (à l’université de New York à Shanghai). Les paroles ne constituent pas un traité : seuls les gouvernements peuvent sortir de cette impasse.

Les questions qui nous sont le plus souvent posées

« L’IA n’est qu’un outil, elle fait ce qu’on lui demande de faire. » C’était vrai autrefois. Mais quoi de plus utile qu’une IA capable de rédiger un e-mail ? Une IA qui l’envoie, attend la réponse, vérifie votre agenda et poursuit sa tâche. Les systèmes d’IA agissent déjà de manière autonome pendant des heures : pour être utiles, ils doivent prendre des initiatives sans supervision constante. C’est précisément ce qui les rend difficiles à contrôler.

« Une IA n’aurait aucune raison de nous nuire. » Nous nous soucions des autres parce que l’évolution nous a façonnés ainsi. Une IA comprendra nos valeurs, mais rien ne garantit qu’elle les partagera. Le fait de doter une IA de valeurs s’appelle le « problème d’alignement », et celui-ci n’est pas résolu. Et pour presque tous les objectifs, il est utile d’empêcher les humains de faire obstacle.

« Une IA dangereuse est encore loin d’être une réalité. » Espérons-le : il est difficile de prédire l’avenir. Mais chaque année, l’IA réalise ce que les experts jugeaient impossible l’année précédente, et les laboratoires eux-mêmes parlent de quelques années, et non de décennies. Personne ne peut être certain que l’IA ne dépassera pas très bientôt tous les humains.

« Une pause est impossible. La Chine n’y consentira jamais. » Peut-être. Il faut tout de même essayer. L’humanité a déjà freiné des technologies par le passé : la modification génétique humaine, les CFC, la géo-ingénierie, les armes biologiques. L’IA de pointe dépend de puces rares fabriquées dans une poignée d’usines ; une pause peut donc être vérifiée, à l’instar des traités nucléaires. Et la Chine a autant à perdre qu’importe qui d’autre face à une IA incontrôlable.

« N’est-ce pas simplement un coup de pub pour vendre davantage d’IA ? » La plupart des personnes qui tirent la sonnette d’alarme n’ont rien à vendre. Des chercheurs ont quitté des postes bien rémunérés dans des laboratoires pour faire entendre leur voix, et certains tirent la sonnette d’alarme depuis bien avant que l’IA ne devienne un secteur d’activité. Comme le dit l’ingénieur Sean Goedecke, ils pensent réellement que l’IA pourrait bien tuer tout le monde. Et s’ils se trompent, une pause ne nous coûtera pas grand-chose. S’ils ont raison et que nous les ignorons, il n’y aura pas de seconde chance.

« Une IA n’a pas de corps. Comment pourrait-elle nous faire du mal ? » En concevant un virus et en le faisant produire par un laboratoire. En piratant des réseaux électriques ou des pipelines. En pilotant les drones autonomes déjà déployés sur les champs de bataille. Plus l’IA est intelligente, plus elle trouvera de moyens d’y parvenir.

IA et climat : un même combat

Les centres de données dédiés à l’IA comptent parmi les sources de demande en électricité qui connaissent la croissance la plus rapide au monde, et les géants de la technologie remettent en service des centrales électriques et repoussent leurs objectifs climatiques pour alimenter cette course effrénée. Nous avons ignoré les climatologues pendant 30 ans. Avec l’IA, nous n’avons pas 30 ans devant nous.

Vous pouvez mettre un terme à cela. Nous savons comment faire.

Une pause internationale concernant l’entraînement des systèmes d’IA les plus puissants, dont le respect serait vérifié à l’instar des traités nucléaires. Lisez notre proposition ou rejoignez-nous.