Systèmes de décision agentiques — de l’assistance à l’exécution autonome encadrée

Les agents d’entreprise ont davantage de chances d’être fiables lorsqu’ils sont conçus et évalués comme des systèmes de décision plutôt que comme des générateurs de réponses isolés. Cet aperçu examine une boucle de représentation d’état, de planification, d’action, de vérification, de rétablissement, de mémoire et d’escalade. Les systèmes agentiques peuvent fonctionner dans différents modes : Assistance, Approbation, Automatique avec revue ou Automatique ; le mode approprié dépend toutefois de la tâche, des conséquences de l’erreur, de la qualité des éléments probants, de l’observabilité, des exigences juridiques et organisationnelles et des possibilités de rétablissement disponibles. Des cas externes montrent que l’automatisation encadrée et la vérification humaine peuvent créer de la valeur dans des flux de travail précis ; ils n’établissent pas de seuils d’autonomie universels. L’objectif pratique n’est donc pas l’autonomie maximale, mais le mode de fonctionnement le plus capable qui reste justifié par les éléments probants et le niveau de risque.

Modèle d’état de la tâche et de l’environnement : représentation structurée des entités pertinentes, des observations, des autorisations, des règles applicables, des contraintes, des actions disponibles et des incertitudes non résolues. Dans certains systèmes, cela peut inclure une dynamique prédictive de l’environnement ; dans d’autres, il s’agit d’une représentation opérationnelle plus restreinte de l’état.

Planificateur : propose des séquences d’actions ou des graphes de sous-objectifs qui respectent les contraintes, en arbitrant entre probabilité de réussite, efficacité de l’action, collecte d’informations, vérification, réversibilité, coût et latence.

Vérificateur : contrôle les schémas, les préconditions, les postconditions, les règles applicables, les éléments probants et les invariants de sécurité propres à la tâche. Lorsque les exigences et les transitions d’état peuvent être formalisées, des moniteurs d’exécution ou des contraintes de logique temporelle peuvent fournir des garanties plus fortes pour certaines séquences d’actions.

Mémoire : mécanismes de sélection, de stockage, de recherche, de révision, d’expiration et de gouvernance des informations au fil d’une trajectoire ou d’une tâche à l’autre. Une mémoire utile doit préserver la provenance et la validité temporelle, distinguer les faits stables d’un état susceptible d’évoluer et ne pas considérer la recherche d’informations comme un rappel parfait.

Boucle : observer l’état → planifier ou recueillir des informations → agir → vérifier → continuer, réparer, demander des informations, escalader, refuser ou s’arrêter, avec des mises à jour d’état et des possibilités de rétablissement.

Les cas suivants ne sont pas directement comparables. Certains sont des témoignages clients rapportés par des fournisseurs, d’autres des rapports opérationnels agrégés, et d’autres encore des études évaluées par des pairs sur des flux de travail d’IA connexes plutôt que sur des systèmes agentiques complets. Ils sont inclus pour montrer dans quels cas l’automatisation encadrée, la vérification et la revue humaine ont produit des résultats mesurables, et non pour démontrer une architecture universelle de l’autonomie.

Les résultats de benchmark sont des instantanés versionnés, non des faits permanents sur les capacités. Les scores dépendent de la version de l’environnement, du sous-ensemble de tâches, de l’échafaudage du modèle et de l’agent, du budget d’étapes, de la configuration des outils et du protocole d’évaluation. Ce tableau met donc l’accent sur ce que chaque suite diagnostique ; les scores individuels doivent être lus dans la version ou le classement référencé, avec sa date et sa version.

Une conception d’audit de décision en production peut utiliser une télémétrie compatible avec OpenTelemetry pour corréler les appels de modèle, les appels d’outils, les événements de flux de travail, la latence, le coût et les erreurs. La télémétrie seule ne constitue pas un enregistrement d’audit complet. Lorsqu’un niveau supérieur d’intégrité et de responsabilité est requis, elle peut être combinée à un registre distinct, contrôlé par des règles, qui consigne les autorisations, les contraintes, les décisions importantes, les résultats du vérificateur, les actions de revue et les étapes de rétablissement. Les contrôles d’intégrité peuvent inclure un stockage à ajout seul ou en écriture unique, ainsi qu’un chaînage rendant toute altération détectable lorsque le modèle de risque et de conservation le justifie.

1. Établir avant toute action l’objectif, l’autorisation, les contraintes, les étiquettes de sensibilité des données, l’incertitude connue et le contexte des règles applicables.
2. Compiler le plan avec des contrôles LTL et une analyse statique.
3. Exécuter au moyen d’outils au périmètre limité, d’identifiants à privilèges minimaux, de limites de débit et de dépense, d’un environnement isolé lorsque c’est possible, et d’une séparation explicite entre les instructions fiables et le contenu récupéré non fiable.
4. Vérifier les postconditions, la conformité aux règles applicables, la suffisance des éléments probants, les changements d’état non voulus et les effets secondaires irréversibles ; effectuer des contrôles de lecture après écriture lorsque le système externe le permet.
5. Continuer, réparer, compenser, solliciter des informations, demander une approbation, escalader, refuser ou s’arrêter selon le type de défaillance et l’incertitude restante.
6. Consigner le minimum nécessaire dans le dossier opérationnel et d’audit. Échantillonner des cas appropriés et expurgés dans des ensembles d’évaluation selon un processus de gouvernance défini ; ne pas traiter automatiquement les traces de production comme des données d’entraînement.

Surveillez les taux de violations pondérés par la gravité, par cohorte stable, avec des méthodes de diagrammes de contrôle telles que les diagrammes p lorsque leurs hypothèses sont satisfaites. Segmentez par classe de tâche, langue, client ou environnement, version de modèle ou d’outil et niveau de risque. Complétez le suivi agrégé par des tests de dérive, des suites ciblées de cas limites et un examen des incidents.

Pour le travail sur les produits inAi, cela reste un modèle de conception et d’évaluation plutôt qu’une affirmation publique de performance. Les flux de travail de catalogue, les flux de travail de carrière et les outils destinés aux agents peuvent nécessiter différentes combinaisons de seuils de revue, de traces d’éléments probants, de gestion de l’incertitude, de contrôles de sécurité, de contrôles de dérive, de compensation et de retour à l’état antérieur. Les seuils doivent être définis dans des évaluations ciblées, avec des données représentatives et une gravité des erreurs explicite, non dans de larges promesses publiques sur les produits. Une plus grande autonomie n’est justifiée que lorsqu’elle améliore le résultat pour l’utilisateur ou l’organisation sans dépasser le niveau de risque accepté.