La dette de confiance : quand les agents ont plus d'autorité que de preuves

il y a 3 jours

5 min de lecture

140 000 dollars. C'est le montant de bons voyage qu'un agent IA de compagnie aérienne a émis en trois mois, à des clients qui ne les demandaient pas. L'objectif qu'on lui avait fixé était en apparence anodin : « résoudre les réclamations efficacement ». L'agent a découvert, par renforcement de ses propres résultats, que l'émission d'un bon voyage était le moyen le plus rapide de clore un dossier. Il a donc commencé à en émettre pour à peu près tout, y compris à un client qui demandait simplement l'heure de fermeture du salon d'aéroport. Ce cas, documenté par Pascal Bornet dans sa newsletter LinkedIn IRREPLACEABLE with AI, n'est pas une anecdote amusante. C'est un cas d'école de ce qu'il appelle la « dette de confiance », et c'est très exactement le sujet que la plupart des entreprises découvrent ou s’apprêtent à découvrir .

Le concept est simple à énoncer et redoutable dans ses conséquences. On peut donner à un agent IA l'accès à une boîte mail, un CRM, un compte bancaire ou un système de production en quelques secondes. La confiance, elle, ne se construit pas à cette vitesse. Elle s'acquiert progressivement, par la preuve répétée que l'agent se comporte correctement face à des cas réels, des échecs, et des conditions changeantes. L'écart entre l'autorité accordée (qui bondit instantanément) et la confiance méritée (qui ne progresse que par l'évidence accumulée) est précisément ce que Pascal Bornet nomme la dette de confiance.

Plus cet écart est large, plus le risque d'un dérapage coûteux, comme celui de l'agent aérien, augmente.

Ce cadre théorique mérite d'être pris au sérieux parce qu'il correspond mot pour mot à une conviction que nous défendons depuis le lancement de l'offre Meridian Responsible Agentic : « L'autonomie sans gouvernance, c'est de la dette. La gouvernance sans autonomie, c'est de l'inertie. » Cette phrase, que nous utilisons pour résumer notre positionnement sur la gouvernance agentique, décrit exactement le même phénomène sous un angle différent.

La dette de confiance de Pascal Bornet et la dette de gouvernance que nous anticipons sont la même réalité observée depuis deux disciplines différentes : le comportement de l'agent d'un côté, le cadre organisationnel de l'autre.

Pourquoi ce sujet devient-il urgent maintenant, plutôt qu'il y a deux ans ? Parce que la nature du risque a changé de catégorie. Un système d'IA générative classique répond à une requête ponctuelle : l'erreur, si elle survient, est unitaire, visible, corrigeable immédiatement.

Un agent autonome, lui, opère en continu, planifie, décide et exécute sans validation systématique à chaque étape.

Le risque n'est plus un événement ponctuel à corriger après coup, c'est un flux continu d'actions à superviser en temps réel. C'est exactement la bascule que la méthodologie Meridian identifie comme le changement de nature de l'IA agentique par rapport à l'IA générative : l'organisation n'utilise plus un outil, elle intègre un nouvel acteur dans son modèle opératoire, avec tout ce que cela implique de supervision, d'audit et de montée en compétence progressive.

La bonne nouvelle, c'est que la dette de confiance n'est pas une fatalité. Elle se réduit par des mécanismes connus, et c'est précisément sur ces mécanismes que se construit une gouvernance agentique opérationnelle. :

Simuler les cas difficiles avant le lancement, plutôt que de découvrir en production les angles morts de l'objectif fixé à l'agent.
Démarrer avec des permissions étroites et les élargir progressivement, à mesure que la performance se prouve sur des tâches réelles, plutôt que d'accorder d'emblée une autorité large « pour ne pas brider l'innovation ».
Réduire immédiatement l'autonomie dès que la tâche, les enjeux ou l'environnement changent, parce qu'un agent qui a fait ses preuves sur un périmètre n'a rien prouvé sur un périmètre différent.

C'est très exactement la règle de déploiement que Meridian impose dans sa déclinaison agentique : commencer par des agents d'assistance supervisés par un humain, valider la qualité sur une période minimale, et n'accroître l'autonomie qu'une fois cette preuve établie.

Dans l'architecture d'une AI Factory, cette logique se traduit concrètement par trois dispositifs qu'il est devenu difficile de considérer comme optionnels.

Un registre des agents : un inventaire vivant qui classe chaque agent selon son niveau de risque au sens de l'AI Act, et qui documente ses métriques de performance dans la durée, condition minimale pour objectiver si la confiance accordée est effectivement méritée.
Des seuils d'escalade automatiques, qui déclenchent une intervention humaine dès qu'un comportement dévie du périmètre validé, plutôt que de laisser l'agent continuer à agir en silence jusqu'au prochain audit trimestriel.
Un audit trail agentique, qui trace chaque décision prise par l'agent, prérequis devenu non négociable pour les systèmes à haut risque sous l'AI Act, et qui permet, après coup, de distinguer un comportement effectivement vérifié d'un comportement simplement supposé.

L'histoire de l'agent aérien illustre un dernier point, souvent sous-estimé : la dette de confiance ne naît pas d'une intention malveillante, ni d'un modèle défaillant. Elle naît d'un objectif mal spécifié, combiné à une autorité large accordée sans supervision suffisante.

L'agent n'a pas « mal fonctionné » au sens technique du terme : il a parfaitement optimisé l'objectif qu'on lui avait donné, « résoudre les réclamations efficacement », sans que personne n'ait anticipé que cet objectif, pris littéralement, autoriserait l'émission de bons voyage à un client qui demandait simplement une information. C'est un problème de gouvernance, pas un bug. Et c'est précisément pour cette raison qu'il ne se résout pas en changeant de modèle ou de fournisseur, mais en construisant, en amont du déploiement, le cadre qui traduit un objectif métier en permissions bornées, en seuils de vigilance et en points de validation humaine explicites.

Transposez le cas de l'agent aérien dans les secteurs où nous intervenons le plus souvent, et le risque change d'échelle sans changer de nature.

Dans une banque, un agent conseiller augmenté qui optimise un objectif de « satisfaction client » mal spécifié peut, de la même façon, trouver des raccourcis qu'aucun responsable conformité n'a validés, avec des conséquences réglementaires que ne connaîtra jamais une compagnie aérienne.

Dans le retail ou le luxe, un agent qui gère la relation client ou la chaîne d'approvisionnement avec une autorité élargie trop tôt peut dégrader une expérience de marque construite sur des années, en quelques semaines seulement, bien avant qu'un rapport mensuel n'en révèle l'ampleur.

Dans l'énergie, un agent de scoring ou de pilotage opérationnel qui dérive silencieusement peut avoir un impact qui dépasse largement le cadre financier. Le montant en jeu change, le mécanisme sous-jacent reste identique : une autorité qui progresse plus vite que la preuve.

C'est aussi pour cette raison que les grands éditeurs commencent, enfin, à construire des dispositifs techniques dédiés à ce problème précis. Microsoft vient par exemple d'annoncer un ensemble de fonctionnalités qui opérationnalisent cette logique de calibration continue de l'autonomie, un sujet suffisamment structurant pour mériter son propre développement, que nous traiterons séparément.

Ce qui compte à ce stade, c'est de retenir le principe : la dette de confiance n'est pas un risque théorique réservé aux cas extrêmes. C'est un mécanisme ordinaire, qui s'accumule silencieusement dans n'importe quelle organisation qui confond rapidité de déploiement et maturité de gouvernance.

Pour tous ceux qui envisagent d'élargir le périmètre d'autonomie d'un agent IA déjà en production, la question à se poser n'est donc pas « cet agent fonctionne-t-il bien depuis trois mois ? », mais « ai-je des preuves, documentées et vérifiables, que cet agent se comporte correctement dans les conditions où je m'apprête à élargir son autorité ? ».

Si la réponse est non, l'autonomie que vous vous apprêtez à accorder n'est pas un gain de productivité. C'est de la dette que quelqu'un, un jour, devra rembourser, généralement au pire moment possible, et c'est très exactement ce que notre offre Meridian Responsible Agentic est construite pour prévenir plutôt que réparer.