Faites l'expérience. Ouvrez votre assistant IA préféré, posez une question précise, notez la réponse. Ouvrez une nouvelle conversation, posez exactement la même question. La réponse sera différente. Parfois sur la forme, parfois sur un chiffre, parfois sur le fond.
Ce n'est pas un dysfonctionnement. C'est la conception même de ces systèmes.
Un programme informatique classique est déterministe : les mêmes entrées produisent les mêmes sorties, aujourd'hui, demain, dans dix ans. C'est ce qui permet de l'auditer — on rejoue, on compare, on constate.
Un modèle de langage ne fonctionne pas ainsi. Il ne consulte pas une base de faits : il prolonge une séquence de mots en choisissant, à chaque pas, parmi les suites les plus probables. Et ce choix comporte une part de tirage au sort, volontaire, réglée par ses concepteurs. Cette part de hasard est une qualité en conversation — elle donne la variété, le naturel, la relance. Elle devient un problème le jour où l'on demande au même système de dire ce qui est vrai.
On objectera qu'il existe un réglage pour cela : la « température », qu'il suffirait de descendre à zéro pour que le modèle choisisse toujours le mot le plus probable, donc toujours le même. La réalité mesurée dit autre chose. Une étude publiée dans ACM Transactions on Software Engineering and Methodology a soumis à ChatGPT, température à zéro, des tâches de programmation identiques, plusieurs fois chacune : selon le jeu d'essai, 18 à 44 % des tâches ont produit des sorties différentes d'une exécution à l'autre. Et en septembre 2025, Thinking Machines Lab — le laboratoire fondé par Mira Murati, ancienne directrice technique d'OpenAI — a fait la démonstration qui a marqué la communauté : le même prompt, soumis mille fois au même modèle, température à zéro, a produit quatre-vingts réponses distinctes. Leur analyse identifie le mécanisme : la charge du serveur fait varier la taille des lots de requêtes traitées ensemble, ce qui change le chemin de calcul, ce qui change le résultat. Autrement dit, votre réponse dépend en partie du trafic des autres. OpenAI ne dit pas le contraire : sa propre documentation qualifie la reproductibilité de ses sorties de « best effort » — au mieux.
Une machine qui ne répond jamais deux fois la même chose ne peut pas, seule, servir de référence. On ne rejoue pas sa décision. On ne peut pas la convoquer.
Le second phénomène est moins connu, et plus grave pour les organisations.
Un modèle de langage n'a pas de frontière intérieure entre ce que vous lui donnez et ce qu'il a appris. Quand vous lui soumettez un document, il ne le lit pas comme un dossier clos : chaque mot de votre texte réveille ce que le modèle a vu de semblable pendant son entraînement — des millions de pages qui ne vous appartiennent pas.
Votre projet interne s'appelle Meridian. Le monde du modèle contient des dizaines de Meridian : des sociétés, des fonds, des logiciels, des navires. Demandez une synthèse, et le modèle peut compléter votre Meridian avec des faits appartenant aux autres — un chiffre d'affaires, une date, un dirigeant. La phrase sera fluide, plausible, correctement construite. Rien ne signalera que la moitié vient de votre dossier et l'autre de sa mémoire.
C'est cela, l'hallucination la plus dangereuse en entreprise. Pas l'invention grossière qu'on repère en souriant — l'agrégation silencieuse, où votre vocabulaire sert d'amorce à des souvenirs qui ne vous concernent pas. Plus votre domaine est spécifique, plus vos termes sont rares, plus le voisinage est traître.
Le problème est connu des laboratoires, et trois travaux publics jalonnent l'état de l'art. En 2022, une équipe de Google Research (Wang et al., publié à ICLR 2023) montre qu'en faisant produire au modèle plusieurs raisonnements indépendants puis en retenant la réponse majoritaire, on améliore nettement l'exactitude — près de dix-huit points gagnés sur le jeu d'essai arithmétique GSM8K. En 2024, Microsoft décrit dans une publication le service qui surveille ses propres produits en production : il détecte les passages d'un résumé qui contredisent le document résumé, et les fait réécrire. En 2025, une équipe d'Amazon Web Services (Goel et al., publié à EMNLP) propose de confronter des modèles d'architectures différentes sur la même question, l'écart entre leurs réponses servant de signal d'alerte. Les références complètes sont en fin d'essai.
Ces travaux sont sérieux, mesurés, déployés. Et ils partagent une limite qu'il faut nommer, parce qu'elle dessine ce qui reste à construire.
Cohérent n'est pas vrai
Détecter qu'un résumé contredit son document, c'est vérifier une cohérence interne : le texte produit est-il fidèle au texte fourni. Question indispensable — et insuffisante. Un résumé peut être parfaitement fidèle à un document qui se trompe. Un raisonnement peut être majoritaire parmi dix passes et faux dans le monde.
L'autre question est : cette affirmation est-elle établie ? Pas « le modèle est-il d'accord avec lui-même », ni « les modèles sont-ils d'accord entre eux » — mais : quelles sources extérieures, datées, identifiables, soutiennent ou contredisent ce qui est écrit. La cohérence se vérifie entre le texte et lui-même ; la véracité se vérifie entre le texte et le monde. Presque tout l'outillage actuel traite la première. Les organisations, elles, signent sur la seconde.
Vient alors la tentation du tampon : vrai ou faux. Elle est trompeuse, et il faut expliquer pourquoi.
Sur un document professionnel réel, une part des affirmations sont établies par des sources concordantes ; une part sont contredites ; et une part — souvent la plus grande — sont dans l'entre-deux : des sources existent des deux côtés, ou aucune source ne permet de trancher. Un système qui ne connaît que vrai et faux doit ranger cet entre-deux quelque part, et où qu'il le range, il ment — par excès de confiance dans un sens ou dans l'autre.
Le troisième verdict n'est pas une prudence de façade. C'est celui qui dit : la preuve existe des deux côtés, ou la preuve manque, et la décision revient à un être humain — avec le motif du renvoi, écrit, conservé. Le règlement européen sur l'intelligence artificielle exige un contrôle humain effectif ; ce verdict-là est ce que « effectif » veut dire une fois traduit en logiciel : l'humain n'est pas un alibi en bout de chaîne, il est l'arbitre désigné des cas que la machine reconnaît ne pas savoir trancher.
Ce que nous garantissons
Chez (Urs), nous avons construit Evidence sur ces constats, et voici ce que nous garantissons — en effets constatables, pas en promesses.
Chaque affirmation d'un document reçoit un verdict parmi quatre : vérifiée, invérifiable, contredite, ou renvoyée à l'arbitrage humain avec son motif. Chaque verdict cite ses sources — identifiées, datées, consultables. Rien n'est jamais réécrit : le texte d'origine est conservé au caractère près, et la décision de corriger appartient à son auteur. Et chaque analyse est archivée et rejouable à l'identique : deux exécutions du même dossier produisent le même constat, malgré la variance des modèles employés — nous le mesurons, exécution après exécution.
Comment tenons-nous la reproductibilité sur des composants qui, par nature, ne la donnent pas ? Une partie de la réponse fait l'objet de dépôts de propriété intellectuelle en cours, et nous la publierons quand ils le permettront. Ce que nous pouvons dire aujourd'hui tient en une phrase : nous ne demandons jamais au modèle d'être fiable — nous avons construit autour de lui les conditions qui rendent son travail vérifiable.
On ne détecte une anomalie que sur un fond fiable. C'est vrai en médecine, c'est vrai en audit, et c'est vrai pour le savoir des organisations : avant d'amplifier, il faut pouvoir prouver.
C'est le pari de (Urs) : une infrastructure où chaque affirmation reçoit son verdict et ses sources, où rien n'est réécrit, et où l'analyse reste archivée et rejouable à l'identique. Découvrir l'infrastructure →
Sources. Xuezhi Wang et al., « Self-Consistency Improves Chain of Thought Reasoning in Language Models », arXiv:2203.11171, Google Research, ICLR 2023. Song Wang et al., « Developing a Reliable, Fast, General-Purpose Hallucination Detection and Mitigation Service », arXiv:2407.15441, Microsoft, 2024. Aman Goel et al., « Zero-knowledge LLM hallucination detection and mitigation through fine-grained cross-model consistency », arXiv:2508.14314, Amazon Web Services, EMNLP 2025. Shuyin Ouyang et al., « An Empirical Study of the Non-determinism of ChatGPT in Code Generation », ACM Transactions on Software Engineering and Methodology, vol. 34, 2025 (arXiv:2308.02828). Horace He et al., « Defeating Nondeterminism in LLM Inference », Thinking Machines Lab, septembre 2025 (thinkingmachines.ai). Règlement (UE) 2024/1689 (« AI Act »), articles 12, 14 et 19.