← Retour aux actualités
On ne peut pas gouverner ce qu'on ne voit pas

Photo: Zzubnik / Wikimedia Commons

04/09/2026

On ne peut pas gouverner ce qu'on ne voit pas

La visibilité est le véritable plan de contrôle

Le plus grand risque lié au développement assisté par l’IA n’est pas que les agents soient trop rapides. C’est que les équipes ne voient plus ce qu’elles ont fait, pourquoi elles l’ont fait, ni quelles actions sont passées du stade de la suggestion à celui de l’exécution. Un agent de codage capable de lire des dépôts, d’exécuter des commandes, d’appeler des outils et d’accéder à d’autres systèmes n’est plus une simple fenêtre de discussion au ton malin. Il fait partie intégrante du système d’exploitation du travail. Le contrôle humain ne survit que si le système enregistre suffisamment de détails pour permettre de reconstituer la session a posteriori. Les recommandations d’OpenAI pour une utilisation sécurisée de Codex concrétisent cette idée : assurer le bon déroulement des tâches routinières, rendre explicites les actions à haut risque et conserver les données de télémétrie afin que l’équipe puisse vérifier ce qui s’est réellement passé. La visibilité n’est pas un luxe ajouté a posteriori. C’est le plan de contrôle qui légitime la délégation. Sans elle, même les équipes les plus prudentes en sont réduites à se fier à leur mémoire, ce qui n’est pas un système de contrôle.

L’erreur que commettent la plupart des équipes est de ne s’intéresser qu’au résultat final. Elles inspectent les différences, peut-être une capture d’écran, peut-être le badge de test vert, et concluent que le flux de travail était sûr parce que le résultat semble acceptable. Mais un agent a peut-être dû effectuer vingt étapes pour aboutir à cette modification d’une seule ligne. Il a peut-être appelé des outils, exploré des journaux, réécrit des tests, interrogé un serveur MCP ou tenté un raccourci qu’un humain aurait immédiatement rejeté s’il avait été visible. Sans journaux, sans validations et sans traces des outils, l’équipe ne peut pas faire la différence entre un résultat irréprochable et un processus risqué. La solution consiste à considérer la télémétrie de l’agent comme un artefact d’ingénierie à part entière : ce que l’agent a tenté, ce qu’il a appris, ce pour quoi il a demandé l’autorisation, ce qu’il a modifié et ce qu’il a fait sans demander.

Si la session ne peut pas être rejouée, elle ne peut pas être contrôlée.

Un agent de codage est un flux de travail, pas une invite

Le passage de la saisie semi-automatique au codage par agent modifie l’unité de travail. L’ancien modèle était « suggère une ligne, laisse-moi décider ». Le nouveau modèle est « prendre une tâche, explorer la base de code, effectuer des vérifications, et éventuellement ouvrir une pull request ». Il s’agit d’un flux de travail qui transcende le temps, les outils et les systèmes. Une invite peut décrire une intention, mais elle ne peut pas remplacer une politique. Les véritables contrôles résident dans l’environnement : bacs à sable, limites réseau, portes d’approbation, identité et journaux. Les recommandations d’OpenAI pour un déploiement sécurisé sont utiles précisément parce qu’elles nomment les éléments « ennuyeux » qui permettent à l’ensemble de fonctionner : configuration gérée, exécution contrainte, politiques réseau et journaux natifs de l’agent. C’est à cela que ressemble le contrôle humain lorsqu’il passe de la présentation PowerPoint à la mise en production.

L’observabilité transforme également la qualité de la collaboration. Un réviseur n’a plus à deviner si l’agent a fait preuve de prudence. Il peut inspecter la trace laissée. Le modèle a-t-il demandé une autorisation avant d’accéder à un magasin de secrets ? A-t-il respecté le bac à sable ? A-t-il tenté d’accéder à un domaine inconnu ? A-t-il invoqué un outil parce que la tâche l’exigeait, ou parce qu’il était en surcharge ? Ces questions sont cruciales, car les agents font souvent preuve d’une confiance excessive précisément là où les humains doivent faire preuve de prudence. La bonne réponse n’est pas de bloquer toute automatisation. Il s’agit de rendre le comportement de la machine suffisamment lisible pour qu’un humain puisse intervenir rapidement et en toute confiance.

La télémétrie permet aux humains de garder le contrôle

Le travail de surveillance interne d’OpenAI illustre encore plus clairement ce point. L’équipe explique qu’elle surveille les agents de codage internes afin de détecter les actions incompatibles avec l’intention de l’utilisateur ou la politique interne, en s’appuyant sur un examen à faible latence, des journaux d’actions et des alertes adressées à des réviseurs humains. Il ne s’agit pas seulement d’une fonctionnalité de sécurité. C’est un principe de fonctionnement. Si un agent de codage peut fonctionner pendant de longues périodes, l’humain ne peut pas rester là à surveiller chacun de ses mouvements. L’humain a besoin d’une vue d’ensemble complète : l’historique des conversations, les appels aux outils, les résultats et les décisions prises en cours de route. Fort de cette vue d’ensemble, l’opérateur peut se poser une véritable question : s’agissait-il d’une utilisation judicieuse de l’autonomie, ou le flux de travail a-t-il masqué le moment où l’agent s’est écarté du chemin ?

Cela importe car toutes les défaillances ne sont pas nécessairement des bogues dans le code final. Certaines sont d’ordre procédural. L’agent a peut-être emprunté une voie dangereuse qui, par hasard, a abouti à une réponse correcte. Ou bien il a peut-être dissimulé une incertitude, comblé des lacunes factuelles, ou cherché un raccourci qui semblait utile sur le moment mais qui a créé un risque futur. Ce sont là de véritables problèmes, car la tâche suivante pourrait ne pas se dérouler aussi bien. La surveillance aide l’équipe à détecter rapidement des schémas récurrents : refus répétés d’approbation, tentatives de contourner les restrictions, hypothèses non vérifiées présentées comme des certitudes, ou utilisation d’outils dépassant le cadre de la tâche. Les humains gardent le contrôle en tirant des leçons du processus, et pas seulement du résultat.

Les sessions de longue durée nécessitent des artefacts de transfert

Les travaux d’Anthropic sur le développement d’applications de longue durée apportent un autre enseignement : les agents perdent en efficacité lorsque la tâche dure suffisamment longtemps pour que le contexte se dégrade. Leur solution repose sur la conception d’harmonies, les réinitialisations de contexte et des transferts structurés entre les sessions. Il s’agit en réalité d’un problème d’observabilité déguisé. Si une session dure plusieurs heures, l’humain ne peut pas se fier uniquement à sa mémoire. Le flux de travail a besoin d’artefacts durables : un plan, une liste de contrôle, un résumé de l’état d’avancement et un compte rendu clair de ce qui s’est passé avant la réinitialisation. Sinon, la session devient opaque au moment même où la confiance de l’agent grandit et où celle de l’humain devrait diminuer.

Les transferts structurés ne sont pas uniquement destinés à la machine. Ils s’adressent à l’opérateur. Un bon transfert doit permettre à un humain de reprendre le relais sans avoir à relire l’intégralité du compte-rendu. Il doit indiquer ce qui a été tenté, ce qui a échoué, ce qui reste incertain et quelle est la prochaine action sûre à entreprendre. Cela signifie qu’on doit attendre de l’agent qu’il résume sa propre incertitude avant de franchir une limite ou de mettre fin à une exécution. Cela signifie également que l’équipe doit privilégier des boucles plus courtes et vérifiables plutôt qu’une autonomie héroïque toute la nuit. Les agents fonctionnant en continu sont utiles lorsque le flux de travail est conçu pour maintenir l’état visible. Ils sont dangereux lorsque le seul enregistrement disponible est la mémoire du modèle et la différence finale.

Ce qu’une bonne surveillance permet de détecter

La meilleure télémétrie n’est pas tape-à-l’œil. Elle répond rapidement à des questions courantes. L’agent a-t-il exécuté les tests attendus ? A-t-il introduit une nouvelle dépendance ? A-t-il modifié des fichiers en dehors de la tâche ? A-t-il contacté un service externe ? A-t-il demandé une validation au bon moment ? A-t-il réexaminé une hypothèse antérieure après que les données ont changé ? Une bonne journalisation permet de distinguer les itérations productives des efforts inutiles. Cette distinction est cruciale lorsque les développeurs sont sous pression, car c’est dans ces moments-là que les équipes acceptent « ça a l’air correct » comme substitut à « nous savons ce qui s’est passé ».

La surveillance améliore également le débogage. Si l’agent a produit un correctif défectueux, la trace peut montrer si le problème provenait d’un contexte manquant, d’un dispositif de test erroné, d’un journal trompeur ou d’un appel d’outil ayant échoué silencieusement. Cela raccourcit le chemin entre l’incident et la leçon tirée. Au lieu de dire « le modèle a eu des hallucinations », l’équipe peut dire « il n’avait pas accès au bon journal », ou « le contrôle de validation était trop laxiste », ou encore « l’agent a été autorisé à continuer après le premier signe d’incertitude ». Il s’agit là d’un meilleur échange technique, car il met en avant une correction à apporter au système, et non pas simplement une plainte à l’encontre du modèle.

La télémétrie permet également aux équipes d’éviter une confiance mal placée. Un correctif qui passe les tests peut tout de même résulter d’un chemin fragile au sein du flux de travail. Une session qui semble productive peut en réalité avoir passé la moitié de son temps à tourner en rond autour du problème ou à tester des limites qu’elle n’aurait jamais dû franchir. Les journaux, les validations et les traces rendent ces schémas visibles. Ils permettent à l’équipe de remarquer quand un agent progresse pour de mauvaises raisons, ce qui est exactement le genre de chose que les humains sont censés détecter.

Un modèle opérationnel pratique

Si vous souhaitez que l’humain garde le contrôle, le modèle opérationnel doit être explicite :

1. Define which actions are sandboxed and which require approval.
2. Log every tool call, approval, network decision, and rollback step.
3. Preserve a handoff artifact for long-running sessions.
4. Surface uncertainty before the agent commits to a path.
5. Review the process, not only the final diff.
6. Treat telemetry as part of the release, not as optional debugging noise.

Cette liste est volontairement ennuyeuse. C’est une bonne chose. Ennuyeuse signifie qu’un autre ingénieur peut comprendre le flux de travail lors d’un incident. Ennuyeuse signifie que l’agent peut agir rapidement sans pour autant devenir impénétrable. Ennuyeuse signifie que l’équipe peut accroître l’autonomie sans accroître la confusion. En 2026, la tentation est de célébrer l’autonomie visible et d’ignorer le travail caché qui la rend sûre. Mais si les journaux sont insuffisants, si les validations manquent de clarté ou si le relais fait défaut, l’autonomie n’est que de façade. L’humain peut certes rester « dans la boucle » en théorie, mais dans la pratique, il se retrouve réduit à entériner tout ce que le modèle a déjà fait.

Le même principe s’applique à l’escalade. Un système solide n’a pas besoin d’un humain pour chaque action insignifiante, mais il doit rendre les limites importantes incontestables : secrets, production, destinations réseau inconnues, modifications de schémas, changements d’autorisations et tout ce qui est difficile à annuler. Plus le système est capable de distinguer les tâches routinières des tâches à risque, plus l’humain peut se concentrer sur son jugement plutôt que sur le bruit de fond. C’est ce qui rend la délégation durable.

L’enjeu, c’est la responsabilité, pas la nostalgie

Certaines personnes entendent cela et en déduisent qu’il s’agit d’une position anti-agents. Ce n’est pas le cas. Le développement assisté par l’IA est le plus efficace lorsqu’il prend en charge les tâches répétitives, à faible risque et à forte friction de l’ingénierie. Il peut explorer une base de code, rédiger des tests, résumer des journaux et préparer des corrections bien plus rapidement qu’une personne ne peut taper au clavier. Si l’on insiste sur l’observabilité, ce n’est pas pour ralentir ce processus. C’est pour s’assurer que cette rapidité donne lieu à un travail responsable. Si l’opérateur ne peut pas voir ce qui s’est passé, le flux de travail est trop « magique » pour inspirer confiance. Si l’opérateur peut le voir, le remettre en question et le rejouer, alors l’agent devient un instrument utile plutôt qu’une autorité non documentée.

C’est là le véritable enseignement à tirer des recommandations d’OpenAI en matière de déploiement sécurisé, de son travail de surveillance et des leçons d’Anthropic sur la conception de harnais. Le contrôle humain n’est pas une simple impression. C’est une architecture. On la construit à l’aide de bacs à sable, de journaux, d’approbations, de transferts de responsabilité et de revues. On la maintient grâce à des alertes et à des procédures de retour en arrière. Et on l’évalue en vérifiant si un humain est encore capable d’expliquer la chaîne d’actions une fois que l’agent a terminé. Si la réponse est oui, l’équipe dispose d’une autonomie maîtrisée. Si la réponse est non, l’équipe n’a qu’une incertitude accélérée.

Dans la pratique, les équipes les plus saines ne se demandent pas si l’agent est « assez intelligent » dans l’abstrait. Elles se demandent si le flux de travail est suffisamment lisible pour qu’une personne reste responsable. C’est une meilleure question, car elle transforme la confiance en conception. Et dès lors que la confiance devient un problème de conception, la réponse devient concrète : enregistrer davantage, contrôler plus minutieusement, assurer des relais plus clairs et examiner le parcours avec autant de sérieux que le résultat.

Sources