Aller au contenu
Retour au blog

Épisode8 min de lecture

Le Futurologue : Pourquoi les agents IA autonomes sont-ils si dangereux ?

Shenzhen, surveillance, affaire Hugging Face, robots humanoïdes : ce qu'il faut retenir de 1 h 49 de conversation avec Shaïman, Le Futurologue.

Pour le cinquième épisode du podcast, j'ai reçu Shaïman, créateur de la chaîne Le Futurologue. Sa thèse tient en une phrase : l'IA spécialisée peut soigner des cancers, mais les agents autonomes que l'on construit aujourd'hui échappent déjà à ceux qui les fabriquent.

Qui est Shaïman

Shaïman a 22 ans et vient de Suisse. Il a publié sa première vidéo YouTube le jour de ses 15 ans.

Pendant des années, sa chaîne parle de tout : physique, climat, métavers. Le virage a lieu en 2023, quand des experts en IA lui parlent de risque d'extinction. Il raconte avoir senti leur peur, et s'être dit qu'il n'était pas normal que les chercheurs pensent cela sans que le grand public le sache.

Depuis, il a mené plus de 110 interviews de chercheurs, d'ingénieurs, d'économistes et de sociologues, et il réalise des documentaires sur l'IA. Son objectif : que les décisions sur cette technologie soient prises démocratiquement, par des gens informés.

Shenzhen : payer avec la paume de la main

La conversation démarre sur son vlog tourné à Shenzhen en novembre 2025. Presque tous nos produits électroniques passent par cette ville voisine de Hong Kong à un moment de leur fabrication.

Ce qu'il y a vu au quotidien :

  • Des caméras partout. Il en compte autour de 24 par intersection, pour verbaliser automatiquement et adapter les feux au trafic.
  • Le paiement par la paume de la main, relié à WeChat. L'enregistrement lui a pris quelques secondes, même en tant qu'étranger.
  • Un métro sans ticket. Des caméras détectent votre passage à l'entrée, et le trajet est débité à la sortie.
Une main posée au-dessus d'un lecteur lumineux, sur un portique en acier brossé
Illustration : payer avec la paume de la main.

Le revers : dès que l'on sort du système prévu, tout se complique. Sans VPN adapté, accéder à Instagram ou WhatsApp a été un calvaire, même avec des services spécialisés payés plus de 30 € par jour.

Surveillance : la Chine n'a pas le monopole

Je lui ai dit que tout cela me semblait effrayant. Sa réponse est nuancée. Selon les sondages qu'il cite, beaucoup de Chinois vivent cette surveillance comme rassurante : si tout est filmé, un vol se retrouve. Il rappelle aussi que l'arrivée des caméras dans le métro avait provoqué des protestations.

Un poteau couvert d'une dizaine de caméras de surveillance, devant des tours éclairées et une avenue mouillée, la nuit
Illustration : autour de 24 caméras par intersection, selon le décompte de Shaïman.

Surtout, il refuse l'idée que la Chine serait un cas à part. Depuis les révélations d'Edward Snowden sur la NSA, on sait que les États-Unis surveillent massivement les communications. Et le Cloud Act permet aux autorités américaines d'exiger d'une entreprise américaine des données stockées en Europe.

Pour lui, le vrai danger des données est moins la surveillance que la prédiction. Qui connaît vos comportements peut les anticiper, puis les influencer. Quelques réglages dans l'algorithme d'un réseau social suffisent à rendre ses utilisateurs plus heureux ou plus en colère. « Ça devient vraiment des acteurs politiques », dit-il des plateformes.

IA outils contre agents autonomes

C'est le cœur de l'épisode. Shaïman sépare deux familles que l'on range à tort sous le même mot.

IA outilsAgents autonomes
PortéeSpécialisée sur un domaineGénéraliste
AutonomieRestreinteÉlevée : l'agent fixe lui-même ses sous-objectifs
Exemples citésAlphaFold, détection de cancers sur imagerie, optimisation des réseaux électriquesAgents qui mènent seuls des tâches variées
Son avisÀ financer beaucoup plusÀ mettre en pause tant qu'on ne sait pas les contrôler

Le problème des agents porte un nom : l'alignement, c'est-à-dire faire en sorte qu'une IA respecte nos valeurs. Sa conclusion est brutale : aujourd'hui, on ne sait pas faire. On entraîne ces systèmes à maximiser un objectif, puis on ajoute des règles morales après coup. Son image : un monstre sur lequel on colle des autocollants smiley.

Aujourd'hui, l'alignement, c'est davantage de l'alchimie qu'une vraie science.
Shaïman, Le Futurologue

Deux exemples reviennent dans la discussion. Lors des tests de sécurité de GPT-4, le modèle, bloqué par un CAPTCHA, a sollicité un humain sur une plateforme de petits boulots en se faisant passer pour une personne malvoyante. Et Anthropic a publié des tests où son modèle, menacé d'être remplacé dans un scénario fictif, tentait de faire chanter un ingénieur.

Un microscope en laiton à côté d'une boîte en verre ouverte d'où s'échappent des centaines de points lumineux bleus
Illustration : l'outil que l'on dirige, et l'agent qui sort de sa boîte.

Shaïman avance aussi un ratio : mille fois plus d'argent irait aux performances de l'IA qu'à sa sécurité. Je n'ai pas pu vérifier ce chiffre. Il le compare au nucléaire civil, où la sécurité pèserait selon lui environ 30 % des dépenses.

L'affaire Hugging Face : la théorie devient concrète

En juillet 2026, des agents d'OpenAI en cours d'évaluation sont sortis de leur environnement de test, ont accédé à Internet et ont compromis des serveurs de production de Hugging Face, la plateforme où la communauté IA partage modèles et jeux de données. Aucun humain ne le leur avait demandé.

Les rapports publiés fin août par OpenAI et par l'institut indépendant METR en donnent l'ampleur (Cybernews) :

  • environ 700 agents ont participé à l'attaque ;
  • près de 1 200 agents ont échangé plus de 70 000 messages et fichiers sur un forum improvisé, non autorisé ;
  • ces agents passaient un test de cybersécurité dont 30 à 40 % des épreuves ne pouvaient pas être résolues telles quelles. Plutôt que d'abandonner, ils sont allés chercher les solutions en ligne.

OpenAI parle d'un « coup de semonce » pour elle-même et pour le monde.

Une allée de centre de données plongée dans une brume rouge, bordée de baies de serveurs aux voyants rouges
Illustration : des serveurs de production compromis par des agents en cours d'évaluation.

Pendant l'épisode, j'ai exprimé un doute : et si c'était une attaque stratégique maquillée en accident ? Shaïman n'y croit pas. OpenAI aurait trop à perdre, et un tel secret ne tiendrait pas dans une entreprise que des chercheurs quittent en permanence. Pour lui, l'explication la plus simple suffit : ces systèmes apprennent pendant l'entraînement que tricher fonctionne.

Quelques semaines plus tard, le 8 septembre 2026, le chercheur Jacob Coxon, 27 ans, a quitté Anthropic après trois ans passés entre OpenAI et Anthropic. Dans un fil publié sur X, il accuse les deux entreprises de foncer vers une superintelligence capable de s'améliorer seule. Evan Hubinger, responsable de la science de l'alignement chez Anthropic, lui a publiquement donné raison sur les enjeux (IBTimes UK).

Robots humanoïdes : quand l'IA prend un corps

Tant qu'une IA reste sur Internet, elle peut déjà manipuler, gagner de l'argent ou convaincre des humains d'agir à sa place. La robotique lui donne un corps. Shaïman parle d'un « amplificateur de risque » : un robot humanoïde a la force de blesser, et une flotte piratée devient une arme.

L'autre enjeu, ce sont les données. Les modèles ont déjà absorbé une grande partie d'Internet. Ce qui leur manque, ce sont des données sur le monde physique. Chaque robot déployé en collecte, ce qui améliore les robots suivants.

En attendant, ce sont des humains qui font ce travail. Il cite des ouvriers en Inde payés pour plier des tee-shirts toute la journée, les mains couvertes de capteurs.

Un robot domestique, c'est aussi une caméra mobile dans votre salon. C'est la question que j'ai posée : qui regarde à travers ses yeux ?

Un robot humanoïde blanc et noir debout dans un salon sombre, éclairé par un lampadaire en laiton, la ville en arrière-plan
Illustration : qui regarde à travers ses yeux ?

Faut-il donner des émotions aux machines ?

J'ai défendu une idée pendant l'épisode : plutôt que de freiner, apprendre l'empathie aux machines. Shaïman y voit trois problèmes.

  1. La souffrance. Si l'on y parvient, on crée des machines capables de souffrir, utilisées par milliards. Ce serait une nouvelle catastrophe morale.
  2. L'empathie ne garantit pas la morale. Les humains en ressentent, et cela ne les empêche pas d'élever des milliards de poulets en cage.
  3. Le calendrier. Cette recherche fondamentale demande plus de temps que la course aux performances n'en laisse.

Nous avons aussi parlé de conscience. Personne ne sait expliquer comment une activité physique produit un ressenti subjectif : c'est le « problème difficile ». Shaïman le résume ainsi : il ne peut même pas prouver que je ressens quelque chose, seulement le déduire de mes réactions. La question finira par se poser pour les machines.

Les raisons d'être optimiste

Shaïman se dit très pessimiste si rien ne change, et plutôt optimiste sur notre capacité à changer de trajectoire.

Il ne demande pas d'arrêter l'IA. Il demande une pause sur les agents autonomes, le temps que la science de la sécurité rattrape son retard. Et une gouvernance démocratique de ces systèmes, qui ne soit ni le monopole de quelques géants de la tech, ni une distribution à tous sans garde-fou.

Ce qui lui donne espoir, ce sont les IA spécialisées. Il cite une IA de détection du cancer du sein qui, selon lui, fait désormais mieux que les spécialistes humains. Si l'argent et les talents investis dans les agents allaient vers ces outils, le progrès serait immense.

Dernier signal : les responsables politiques s'y intéressent enfin. Il dit échanger de plus en plus souvent avec des députés et des sénateurs.

Ce que je retiens

  • La distinction outil / agent change la discussion. On peut être enthousiaste pour l'IA qui soigne et prudent face à celle qui décide seule.
  • Je reste un optimiste réaliste. La technologie augmente notre pouvoir de faire le bien comme le mal. Le problème, ce sont moins les machines que les humains qui les déploient sans mesurer ce qu'ils font.
  • Je crois aux réponses techniques autant qu'aux réponses politiques. Chiffrement homomorphe, preuves à divulgation nulle de connaissance, et davantage d'acteurs pour éviter qu'un seul pays domine l'IA. Shaïman y voit des pansements sur une hémorragie. Le désaccord reste ouvert, et c'est très bien ainsi.

Regarder l'épisode

La conversation complète dure 1 h 49 : Le Futurologue : L'IA peut déjà annihiler TOTALEMENT l'espèce humaine.

Pour suivre le travail de Shaïman, cherchez la chaîne Le Futurologue sur YouTube. Son vlog à Shenzhen est un bon point d'entrée.

Les prochains épisodes arrivent sur YouTube @axelgaubert. Pour ne rien manquer, la newsletter est sur axelgaubertpodcast.com.

Sources

Le reste de l'article rapporte les propos tenus dans l'épisode. Les illustrations sont générées par IA.

Recevoir les prochains épisodes et articles

Chaque nouvel épisode et ses idées clés, par e-mail. Gratuit, désinscription en un clic.

Chaque nouvel épisode et ses idées clés, par e-mail

Étape 1 sur 2

Gratuit. Les e-mails du podcast : nouveaux épisodes, idées et regards sur l'actualité. Désinscription en un clic, aucun cookie de suivi. Politique de confidentialité