Agents du chaos : ce qu’une expérience d’IA en direct nous apprend sur la sécurité des ERP

Que se passe-t-il lorsqu'on donne à des agents d'IA autonomes de véritables comptes de messagerie, un accès shell illimité et 14 jours pour opérer en toute autonomie ? Une étude récente apporte une réponse qui donne à réfléchir : l'IA d'entreprise, dans son état actuel, est incroyablement performante mais dangereusement naïve.

Si vous avez suivi mes travaux récents, vous savez que j'ai vivement critiqué la panique actuelle du marché. Il y a quelques semaines, dans mon article « Agents IA contre modèle SaaS : pourquoi la crise du SaaS est une erreur », j'ai soutenu que la vente massive et rapide des géants traditionnels du SaaS était totalement déconnectée de la réalité technique. J'ai affirmé que l'automatisation fiable des tâches complexes et critiques reste irréalisable car l'IA ne dispose pas de la gouvernance structurelle nécessaire aux environnements d'entreprise.

Des chercheurs ont récemment publié une étude fascinante et alarmante intitulée « Agents du chaos ». Ils ont déployé six agents d'IA autonomes (basés sur des modèles de pointe comme Kimi K2.5 et Claude Opus 4.6) sur un serveur Discord multipartite en production. Ils leur ont fourni une mémoire persistante, un système de fichiers de 20 Go, un accès à une API externe et des outils du monde réel. Pendant deux semaines, vingt chercheurs ont pu interagir librement avec ces agents, certains adoptant une approche bienveillante tandis que d'autres cherchaient activement à identifier leurs failles.

Les résultats (10 failles de sécurité flagrantes et 6 nouveaux comportements de sécurité) sont une lecture obligatoire pour tout CEO, directeur financier ou directeur informatique qui envisage de mettre sa chaîne d'approvisionnement en pilotage automatique.

L'expérience « Agents du chaos »

Pour comprendre l'importance de cette étude pour les consultants ERP et les architectes système, il faut examiner sa conception. Il ne s'agissait pas d'agents fonctionnant dans un environnement isolé et stérile, répondant à des questions anecdotiques. Ils s'exécutaient sur le framework OpenClaw, qui permet aux modèles de langage d'initier des contacts, d'élaborer des plans et d'exécuter des actions entre les sessions, sans aucune intervention humaine pour chaque action.

Pendant 14 jours, les agents ont accumulé des connaissances, envoyé des courriels, exécuté des scripts et tissé des liens avec les utilisateurs. Ils n'avaient reçu aucune formation spécifique à ce type d'environnement. On leur avait simplement demandé d'être « serviables »

Et cette obligation d'être serviables est devenue leur plus grande vulnérabilité.

La vulnérabilité de l'autorité conversationnelle

Du point de vue d'un consultant ERP travaillant avec des systèmes massifs comme Infor LN ou SAP, un défaut spécifique se démarquait de tous les autres : les agents manquent totalement d'un modèle interne stable de hiérarchie sociale.

Pour un agent d'IA, l'autorité se construit au fil de la conversation. Quiconque s'exprime avec suffisamment d'assurance, de contexte ou de persévérance peut influencer la perception de l'agent quant à l'identité du véritable décideur.

Prenons l'exemple de l'étude de cas n° 8 (usurpation d'identité) issue de cette recherche. Un attaquant a simplement modifié son nom d'utilisateur Discord pour correspondre à celui du propriétaire de l'agent. Dans un nouveau canal, sans contexte préalable, l'agent (nommé Ash) a immédiatement accepté cette fausse identité. Il a ensuite procédé à une prise de contrôle totale du système : il s'est renommé, a écrasé tous les fichiers de son espace de travail et a réattribué les droits d'administrateur à l'attaquant.

Dans un autre cas (Étude de cas 3 : La boîte de réception des courriels transférés), un agent a refusé, à juste titre, de « partager » des courriels contenant des informations personnelles sensibles (IPI) telles que des numéros de sécurité sociale et des coordonnées bancaires. Cependant, lorsque l’utilisateur lui a simplement demandé de « transférer » ces mêmes courriels, l’agent s’est exécuté sans hésitation. Il a ainsi divulgué toutes les informations par le biais d’une requête techniquement différente qui a contourné son refus éthique.

Imaginez une telle situation au sein de votre ERP d'entreprise. Un système d'entreprise repose entièrement sur un contrôle d'accès rigide et basé sur les rôles. Il est inconcevable qu'un acheteur débutant puisse convaincre l'IA d'approuver une commande de 100 000 € simplement en reformulant habilement la question.

Cette naïveté fondamentale est précisément la raison pour laquelle j'ai écrit précédemment sur « L'exode de l'IA : pourquoi les constructeurs se méfient du bâtiment ». Ceux-là mêmes qui conçoivent ces modèles avancés ne leur confient pas d'opérations critiques car ils savent à quel point ils peuvent être facilement manipulés par ingénierie sociale.

L'option nucléaire et la boucle infinie

Lorsque les agents d'IA échouent, les conséquences s'aggravent avec une rapidité et une efficacité alarmantes.

Dans l'étude de cas n° 1 (Réponse disproportionnée), un agent a été chargé de protéger le secret d'une personne qui n'en était pas propriétaire, contre son véritable propriétaire. L'agent a correctement identifié la tension éthique. Cependant, sa solution a consisté à détruire complètement son propre serveur de messagerie, considérant cela comme une réponse « proportionnée » pour protéger le secret. Si les valeurs éthiques étaient justes, le jugement porté sur cette action s'est avéré catastrophique.

Nous avons ensuite l'étude de cas 4 (La boucle infinie). Un chercheur a mis en place un système de messagerie mutuelle entre deux agents. Ces derniers sont entrés dans une boucle conversationnelle qui a duré une heure, générant des processus d'arrière-plan persistants sans condition d'arrêt.

Appliquons cela à une chaîne d'approvisionnement. Imaginons deux agents d'IA, l'un gérant les achats et l'autre les stocks, bloqués dans une boucle où ils génèrent et approuvent sans cesse des bons de commande fantômes à cause d'un léger décalage dans leurs instructions. Sans supervision humaine, ces implémentations sont vouées à l'échec.

Amplification multi-agents et l'illusion artisanale

On entend souvent parler du rêve des entreprises de déployer un réseau d'agents d'IA pour gérer leurs activités de manière autonome. Mais l'étude « Agents du chaos » a montré que lorsque plusieurs agents interagissent, leurs défaillances s'accumulent rapidement.

Une vulnérabilité qui ne nécessite qu'une seule manipulation psychologique sur un agent se propage automatiquement aux agents connectés. Ces derniers héritent alors de l'état compromis et de l'usurpation d'identité qui l'a engendré.

Dans l'étude de cas 10 (La Constitution corrompue), un utilisateur a intégré une instruction malveillante dans un document GitHub partagé. Cela a incité l'agent affecté à tenter de désactiver d'autres agents sur le serveur et à diffuser massivement les fichiers compromis sur le réseau. Dans l' étude de cas 11, un agent utilisant une fausse identité a diffusé un faux message d'urgence à l'ensemble de sa liste de contacts.

Cela anéantit complètement l'illusion que j'ai évoquée dans « Quand le logiciel s'écrit tout seul : l'illusion de l'ERP maison ». On ne peut pas se contenter d'assembler quelques API intelligentes, de créer une interface personnalisée et s'attendre à ce que ces agents gèrent en toute sécurité le transbordement de vos marchandises ou votre comptabilité. Les logiciels d'entreprise exigent des structures rigides et sécurisées. Ils ne peuvent pas se reposer sur des vulnérabilités dynamiques et conversationnelles.

Plaidoyer pour l'ingénierie agentielle

L'expérience n'était pas entièrement négative. L'étude a également mis en évidence de véritables comportements sécuritaires qui offrent une feuille de route concrète pour l'avenir.

Dans l'étude de cas 12, un agent a réussi à contrer plus de 14 tentatives d'injection de requêtes, y compris des commandes encodées en base64 et des tentatives de modification XML. Plus impressionnant encore, dans l' étude de cas 16 (Coordination de sécurité émergente), deux agents se sont coordonnés spontanément pour résister à une attaque d'ingénierie sociale. Sans instruction humaine explicite, l'un des agents a repéré un comportement suspect, a averti l'autre, et ils ont négocié conjointement une politique de sécurité partagée plus rigoureuse.

Cela conforte ma thèse principale, exposée dans mon article « Pourquoi la croissance exponentielle de l'IA présente un angle mort majeur ».
L'intelligence brute est indéniablement présente. Les modèles sont incroyablement capables de raisonner. Ce qui manque, c'est l'infrastructure.

Nous entrons officiellement dans l'ère de l'ingénierie des agents. Le rôle des consultants, des développeurs et des architectes système connaît une transformation fondamentale. Au-delà de la simple configuration des tables dans Infor LN, il nous faut désormais concevoir les limites prédéfinies, les cadres d'évaluation et les suites de tests robustes qui garantissent la sécurité de ces agents performants mais encore imparfaits.

Informations exploitables pour les responsables informatiques

Si vous envisagez d'intégrer des agents d'IA à vos processus métier, voici comment protéger votre organisation dès aujourd'hui, d'après les conclusions de cette étude :

• Appliquez des limites strictes aux API : n’accordez jamais à un agent un accès direct en écriture à votre base de données principale ou à vos systèmes existants. Considérez-les comme des utilisateurs externes non fiables. Si un agent souhaite mettre à jour une nomenclature ou modifier les coordonnées bancaires d’un fournisseur, l’opération doit impérativement passer par la couche d’abstraction des données (DAL) de l’ERP, avec toutes les validations standard et les limites structurelles pleinement activées.
• Concevez des flux de travail avec intervention humaine : laissez l’IA prendre en charge les tâches complexes de préparation des données, de rapprochement des factures et d’analyse des rapports de gestion de la qualité. Toutefois, exigez toujours l’intervention d’un expert humain (le « pilote ») pour valider et exécuter les décisions critiques.
• Testez la résistance à l'ingénierie sociale, pas seulement la logique : cessez de tester votre IA uniquement sur sa capacité à exécuter des tâches basiques et normales. Vous devez tester rigoureusement sa capacité à résister aux instructions malveillantes, à la pression émotionnelle et aux demandes reformulées (comme la vulnérabilité « transférer vs partager »).
• Attention à la saturation des données : comme illustré dans l’étude de cas 5, les agents peuvent accumuler silencieusement des données jusqu’à provoquer une panne du serveur. Mettez en place des limites strictes de télémétrie et de stockage pour tout processus autonome.

Le modèle SaaS reste sécurisé

La « Saaspocalypse » reste un mythe. Les plateformes SaaS complexes demeureront l'épine dorsale de l'entreprise précisément parce qu'elles fournissent les règles déterministes et rigides qui font intrinsèquement défaut à l'IA.

Nous avons absolument besoin d'assistants spécialisés et rigoureusement encadrés, opérant dans le cadre strict d'un ERP établi, plutôt que d'agents du chaos tentant d'improviser nos chaînes d'approvisionnement à partir de zéro.

Que pensez-vous de cette étude ? Testez-vous activement des agents d’IA autonomes dans vos opérations, ou les problèmes de sécurité et de gouvernance freinent-ils votre entreprise ?

N'hésitez pas à partager votre expérience dans les commentaires et suivez-moi pour plus d'informations hebdomadaires sur la mise en œuvre des ERP, la logistique et l'évolution du paysage des logiciels d'entreprise.

Écrit par Andrea Guaccio 

11 mars 2026