Limites de l’intelligence — orchestration par rapport à la capacité brute

Dans cette synthèse :

La qualité désigne la métrique propre à la tâche rapportée par la source ; elle n’est pas supposée comparable d’une étude à l’autre.

Le coût désigne un coût d’inférence observé ou estimé pour un modèle, un fournisseur, un nombre de jetons et une date de tarification explicitement indiqués.

La latence désigne le temps écoulé de bout en bout dans une configuration d’exécution donnée.

La fiabilité désigne l’exécution répétable d’une tâche selon un protocole d’évaluation déclaré, y compris le comportement en cas d’échec, d’abstention et de reprise.

L’auditabilité désigne la présence de preuves, d’états, de traces ou de dossiers décisionnels inspectables ; c’est une propriété du système, et non un score de benchmark.

Les études sur le routage et les cascades montrent que la sélection de modèles peut améliorer le compromis coût–performance lorsque les modèles ont des atouts complémentaires et que l’estimateur de qualité peut déterminer quel modèle suffit pour une requête.

FrugalGPT a rapporté jusqu’à 98 % de réduction des coûts tout en égalant le modèle individuel le plus performant dans le contexte évalué. Il s’agit d’un maximum propre à cette étude, non d’un effet universel du routage ; l’économie dépend de l’ensemble de modèles, de la distribution des tâches, de l’usage des jetons et de la date de tarification.

Des travaux ultérieurs sur le routage unifié en cascade confirment une limite centrale : la sélection n’est utile qu’à la hauteur de l’estimateur utilisé pour prédire la qualité de la réponse.

Le routage peut échouer lorsque la distribution des tâches évolue, que les versions de modèles ou les coûts changent, ou que le signal de confiance du routeur est corrélé aux mêmes erreurs que celles commises par le modèle sélectionné. Un routeur de production doit donc être réétalonné après toute modification importante des modèles ou de la distribution, puis comparé à une solide référence sur un modèle unique.

Éléments à rapporter pour le coût

• fournisseur et version exacte du modèle ;
• nombre de jetons d’entrée et de sortie ;
• date de tarification ;
• politique de nouvelles tentatives et de cache ;
• nombre d’appels ;
• traitement des appels en échec ;
• indicateur de qualité ;
• prise en compte ou non du surcoût du routage et de la vérification.

1. Dans certains régimes de raisonnement, le calcul au moment de l’inférence peut se substituer à une partie de l’échelle de préentraînement, mais son bénéfice dépend de la difficulté du prompt et de la compétence du modèle de base. Dans une analyse MATH à FLOPs comparables, une inférence optimale en calcul avec un modèle plus petit a surpassé un modèle environ quatorze fois plus grand pour des problèmes où ce petit modèle avait déjà une réussite non négligeable.

Cela ne montre pas que la recherche dépasse généralement les modèles plus performants. Pour les tâches plus difficiles, ou lorsque les vérificateurs produisent des faux positifs ou classent mal les chemins valides, l’échantillonnage ou la recherche supplémentaires peuvent plafonner ou réduire l’utilité nette. 2. Le calcul au moment de l’inférence exige un niveau minimal de compétence.

La recherche ne peut améliorer un ensemble de candidats que lorsque le modèle de base produit suffisamment de candidats utiles et que le système peut les distinguer. Un échantillonnage accru ne répare pas un vérificateur qui accepte systématiquement des résultats incorrects.

Le choix du vérificateur modifie le compromis qualité–calcul. La vérification au niveau du processus a surpassé, dans certaines configurations de raisonnement mathématique, la vérification du seul résultat final ; des travaux théoriques et empiriques ultérieurs montrent toutefois que cet avantage dépend de la structure de la tâche, de la qualité de la supervision, de la procédure de recherche et du profil de faux positifs et de faux négatifs du vérificateur.

La recherche guidée par un vérificateur doit donc rapporter séparément l’exactitude du vérificateur et celle du système de bout en bout. Une procédure de recherche plus poussée ne peut compenser un vérificateur qui classe systématiquement des chemins incorrects devant des chemins valides.

Indicateurs du vérificateur

• précision et rappel du vérificateur ;
• taux de faux positifs ;
• taux de faux négatifs ;
• étalonnage ;
• indicateur de classement ;
• changement de domaine des tâches ;
• nombre de candidats ;
• seuil d’acceptation ;
• résultat de la tâche de bout en bout ;
• calcul dépensé par réponse acceptée.

Choix du vérificateur

Les effets rapportés dépendent de la tâche et de la configuration. Les vérificateurs de processus ont amélioré la sélection dans certaines expériences MATH ; des vérificateurs imparfaits, qu’ils portent sur le processus ou sur le résultat, peuvent à la fois mal classer les candidats et perdre en efficacité à mesure que le budget de recherche augmente.

1. Les méthodes conformes peuvent étalonner un objectif de couverture, de violation ou de risque sous les hypothèses de la procédure choisie et des données d’étalonnage. Le paramètre α doit être présenté comme la tolérance pertinente de non-couverture ou de violation, non comme un taux de rejet. Les taux d’abstention et d’escalade doivent être mesurés empiriquement.

Tout seuil conforme utilisé dans un produit doit être réétalonné après une modification importante de la distribution ou du modèle et surveillé afin de détecter des échecs de couverture propres à un sous-groupe ou à un domaine. 2. Des seuils conformes étalonnés selon une tolérance déclarée de violation ou de non-couverture, avec publication empirique des taux d’escalade, d’abstention et des performances par sous-groupe. 3. La couverture n’est pas l’exactitude dans tous les cas.

Une garantie marginale de couverture de 90 % ne signifie pas que chaque réponse acceptée a 90 % de chances d’être correcte. L’interprétation exacte dépend de la cible conforme, du protocole d’étalonnage, des hypothèses et de la population pour laquelle la garantie est énoncée.

1. La recherche sélective d’informations détermine si une requête nécessite une recherche externe. Self-Routing RAG fait état de compromis favorables entre exactitude et recherche documentaire dans la configuration évaluée par ses auteurs, mais l’ampleur de ces effets varie selon le benchmark et le modèle.

RAFT répond à une autre question : adapter un modèle à l’utilisation d’éléments probants récupérés propres à un domaine et à l’ignorance de documents distracteurs. Il doit être cité comme méthode de qualité de recherche documentaire et d’adaptation de domaine, non comme source d’un résultat sur le déclenchement de la recherche. 2. La recherche d’informations peut réduire la fiabilité lorsque les éléments probants sont non pertinents, périmés, contradictoires, incomplets ou classés selon la similarité lexicale plutôt que selon leur suffisance pour répondre. Une politique de recherche doit donc évaluer au moins trois questions distinctes :

1. Le système doit-il rechercher des informations ?
2. A-t-il récupéré des éléments probants pertinents et suffisants ?
3. Le générateur les a-t-il utilisés fidèlement ?
4. La recherche sélective doit être comparée à une solide référence à contexte long ; la taille de la fenêtre de contexte ne prouve toutefois pas à elle seule que le modèle peut identifier et raisonner de manière fiable sur les informations pertinentes.

Les architectures planificateur–exécuteur–vérificateur ont amélioré l’achèvement des tâches dans plusieurs systèmes d’agents évalués par benchmark, mais leur bénéfice dépend du planificateur, de l’interface des outils, de la qualité du vérificateur, de la politique de retour à l’état antérieur et de la structure de la tâche. Les points de contrôle de vérification créent des possibilités de réparation ; ils ne garantissent pas que le système détecte la bonne défaillance ni qu’il rétablisse un état valide.

Indicateurs de fiabilité des agents

• réussite de la tâche ;
• pass^k ou fiabilité lors d’exécutions répétées ;
• conformité aux règles applicables ;
• validité des appels d’outils ;
• exactitude de l’état ;
• succès du rétablissement ;
• nombre d’actions ;
• intervention humaine ;
• latence et coût de bout en bout.

1. Routage statique par tâche ou type de contenu

Utile lorsque les catégories sont stables et faciles à identifier. Il échoue lorsque la difficulté varie fortement au sein d’une catégorie ou lorsque la taxonomie devient obsolète. 2. Routage appris

Estimer l’utilité attendue pour chaque modèle, y compris la qualité prévue, le coût, la latence et les pénalités liées à l’échec ou à l’abstention. La cible et la méthode d’étalonnage doivent être indiquées ; un score de confiance n’est pas automatiquement une probabilité d’exactitude. 3. Acceptation a posteriori

Exécuter d’abord un modèle moins coûteux et escalader lorsqu’un score d’acceptation échoue. Le risque principal est un vérificateur produisant des faux positifs et acceptant une réponse plausible mais incorrecte. 4. Routage unifié en cascade

Combiner la sélection ex ante du modèle avec l’acceptation a posteriori. Le bénéfice dépend d’un estimateur de qualité qui demeure valide pour l’ensemble des modèles et types de requêtes. 5. Toutes les politiques de routage doivent être réévaluées après une mise à niveau du modèle, un changement de fournisseur, de prompt, de prix important ou de distribution des requêtes réelles.

1. Un référentiel contrôlé de terminologie, d’unités, de schémas et de règles de normalisation approuvés. Le versionner et consigner la règle qui a influencé chaque résultat.
2. Un état reliant un résultat ou une décision aux passages sources, aux résultats d’outils ou aux enregistrements utilisés pour le produire. Les liens vers les éléments probants améliorent l’auditabilité, mais ne prouvent pas à eux seuls que le résultat est correct.
3. Une couche de recherche pour les enregistrements antérieurs ou les entités de longue traîne. Évaluer la fraîcheur, la duplication, la contamination, le contrôle d’accès et la validité de l’état récupéré pour la tâche en cours.
4. • considérer le contexte récupéré comme correct du seul fait qu’il a été récupéré ;

• laisser persister un état obsolète sans contrôle d’expiration ou de version ;
• réécrire en mémoire des affirmations générées par un modèle sans validation ;
• perdre la provenance lorsque des enregistrements sont résumés ou fusionnés ;
• supposer qu’une longue fenêtre de contexte supprime le besoin d’évaluer la recherche documentaire ;
• utiliser un même score de similarité comme signal à la fois de pertinence et de suffisance des éléments probants.

Effets rapportés des composants dans les études

Comparaisons de composants propres à chaque étude

Effet : peut améliorer les indicateurs de vote majoritaire ou de sélection pour les tâches dont les réponses sont extractibles, au prix d’une consommation de jetons et d’une latence plus élevées.

Limite : davantage d’échantillons peuvent amplifier l’acceptation de faux positifs lorsque le vérificateur est faible.

Auto-cohérence avec arrêt précoce

Résultat rapporté : de 33,8 % à 84,2 % d’échantillons en moins dans six benchmarks de raisonnement évalués, pour une performance de tâche comparable.

Limite : l’adéquation est maximale pour les tâches où les réponses candidates peuvent être comparées ou normalisées de manière fiable.

Calibre une cible déclarée de couverture ou de risque selon les hypothèses de la méthode. L’efficacité, la rétention, l’abstention et le comportement des sous-groupes doivent être mesurés.

Conférence / revue évaluée par les pairs Atelier évalué par les pairs Préimpression Benchmark / rapport officiel Synthèse inAi Figure illustrative

1. Règles de la carte de contrôle de Western Electric
2. Ces règles ne constituent qu’un signal de dérive possible et non une garantie spécifique à l’IA. Leur sensibilité accrue augmente également la fréquence des fausses alarmes.
3. peut informer peut réduire devrait être évalué dans le réglage du produit mesuré
4. réduit les coûts améliore l'auditabilité stabilise la production

Un glossaire compact et extensible améliorerait la page.

##Cascade

Une séquence qui commence avec un modèle moins cher ou plus petit et qui s'intensifie lorsqu'une règle d'acceptation n'est pas respectée.

Routeur

Une stratégie qui sélectionne un modèle, un outil ou un flux de travail avant ou pendant l'exécution.

Vérificateur

Un modèle, un programme, un test ou une règle qui note, classe ou accepte les résultats des candidats.

Vérificateur de résultats / modèle de récompense des résultats

Un vérificateur qui évalue le résultat final.

Vérificateur de processus / modèle de récompense de processus

Un vérificateur qui évalue les étapes de raisonnement intermédiaires ou les transitions d'état.

Récupération sélective

Une politique qui décide si et où récupérer des preuves externes plutôt que de les récupérer pour chaque requête.

Calibrage conforme

Famille de méthodes qui calibrent les objectifs de couverture ou de risque selon des hypothèses énoncées à l'aide de données d'étalonnage retenues.

Abstention

Une décision de ne pas répondre ou d'agir lorsqu'une condition d'acceptation n'est pas remplie.

Budget de réparation

Une limite déclarée sur les tentatives, les révisions, les appels d’outils ou les tentatives d’escalade.

Calcul au moment du test

Calcul supplémentaire utilisé lors de l'inférence, tel que l'échantillonnage, la recherche, la révision ou la vérification.

Frontière de Pareto

Un ensemble de configurations pour lesquelles améliorer un objectif nécessite d’en aggraver un autre. Les objectifs et les contraintes doivent être explicitement définis.

---

Routage et cascades

1. Hu et coll. RouterBench: A Benchmark for Multi-LLM Routing System. arXiv, 2024.
   Évaluation standardisée du routeur et grand ensemble de données de résultats enregistrés.

2. Chen, Zaharia et Zou. FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance. TMLR/arXiv, 2023-2024.
   Cascades apprises et réductions de coûts spécifiques à l’étude.

3. Dekoninck, Baader et Vechev. Une approche unifiée du routage et de la mise en cascade pour les LLM. ICML 2025.
   Routage en cascade unifié et importance des estimateurs de qualité.

4. Uddin et Bauer. Conformal LLM Routing with Distribution-Free Safety Guarantees. Atelier de recherche pour étudiants de l'ACL, 2026.
   Résultat de routage conforme post-vintage avec paramètres de violation et de confiance explicites.

Limites du calcul et du vérificateur au moment du test

1. Snell et coll. Scaling LLM Test-Time Compute Optimally Can Be More Effective Than Scaling Model Parameters. ICLR 2025.
   Allocation de calcul en fonction de la difficulté et résultat conditionnel du modèle plus petit ou plus grand.

2. Stroebl, Kapoor et Narayanan. The Limits of Inference Scaling Through Resampling. Préimpression, révisée en 2026.
   Plafonds de vérificateurs faussement positifs et rééchantillonnage limité par l'utilité.

3. Yu, Li et Wang. Scaling Flaws of Verifier-Guided Search in Mathematical Reasoning. Préimpression, 2025.
   Diminution et inversion des gains de recherche guidée par le vérificateur.

4. Lightman et coll. Let’s Verify Step by Step. ICLR 2024.
   Supervision des processus de raisonnement mathématique.

5. Jia, Rakhlin et Xie. Do We Need to Verify Step by Step?. ICML 2025 / enregistrement de préimpression.
   Défi théorique de la supériorité universelle de la supervision des processus.

6. Li et coll. Escape Sky-high Cost: Early-stopping Self-Consistency for Multi-step Reasoning. ICLR 2024.
   Échantillonnage réduit dans le cadre de la configuration de référence de raisonnement des auteurs.

Incertitude et méthodes conformes

1. Cherian, Gibbs et Candès. Large Language Model Validity via Enhanced Conformal Prediction Methods. NeurIPS 2024.
   Validité conforme des résultats du LLM, conditionnalité et compromis d'utilité.

2. Wang et coll. ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees. Résultats de l’EMNLP 2024.
   Incertitude conforme pour une génération ouverte.

3. Kapoor et coll. Calibration-Tuning: Teaching Large Language Models to Know What They Don’t Know. IncertainNLP 2024.
   Réglage fin axé sur l'étalonnage ; utilisez le lieu exact de l’atelier.

Récupération et contexte long

1. Zhang et coll. RAFT: Adapting Language Model to Domain Specific RAG. 2024.
   Récupération spécifique au domaine, réglage fin et gestion des distractions augmentées.

2. Wu et coll. Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization. Préimpression, révisée en 2026.
   Routage sélectif des sources et compromis entre précision et récupération spécifiques à l’étude.

3. Liu et coll. Lost in the Middle: How Language Models Use Long Contexts. TACL 2024.
   Dégradation sensible à la position lors d’une utilisation en contexte long.

4. Modarressi et coll. NoLiMa: Long-Context Evaluation Beyond Literal Matching. ICML 2025 / arXiv.
   Dégradation du contexte long sans correspondance lexicale facile.

5. Bai et coll. LongBench v2. ACL 2025.
   Raisonnement réaliste à long contexte sur plusieurs catégories de tâches.

Agrégation et évaluation multi-agents

1. Wang et coll. Un mélange d'agents améliore les capacités des grands modèles de langage. ICLR 2025.
   Agrégation multimodèle et résultats de préférences automatisés spécifiques à l'analyse de référence.

2. Zheng et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023.
   Utilité et préjugés connus des juges.

3. Dubois et coll. Length-Controlled AlpacaEval. COLM 2024.
   Atténuation du biais de longueur dans l’évaluation automatisée des préférences.

4. Zheng et al. Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates. ICLR 2025.
   Limites et risques de jeu dans les benchmarks de préférences automatisés.

Agents et fiabilité à long terme

1. Yao et coll. τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. 2024.
   Utilisation des outils, respect des règles et fiabilité des exécutions répétées.

2. METR. Horizons temporels d'achèvement des tâches des modèles Frontier AI. Mis à jour en mai 2026.
   Fiabilité des tâches à long terme sur une suite logicielle définie.

Latence d'inférence

1. Chen et coll. Cascade Speculative Drafting for Even Faster LLM Inference. NeurIPS 2024.
   Rédaction spéculative en cascade ; l'accélération dépend de la configuration.

2. Narasimhan et coll. Cascades plus rapides via le décodage spéculatif. ICLR 2025.
   Traitement conjoint des cascades et décodage spéculatif.

Terminologie de surveillance

1. NIST. Manuel de statistiques d'ingénierie — cartes de contrôle des variables et règles WECO.
   Définition des règles de Western Electric et de leur compromis en matière de fausses alarmes.