Le prompt qui rend l'IA honnête n'existe pas

Un post a circulé cette semaine : sept règles à copier dans les paramètres d'un assistant, et la promesse qui va avec — l'IA cesse de vous mentir. Plus de mille réactions, deux cents partages, des centaines de commentaires enthousiastes. Trois ou quatre, noyés dans le flot, disaient l'essentiel.

Le genre a ses codes, et ils sont devenus reconnaissables : un titre à l'impératif, une promesse totale, une injonction à sauvegarder avant qu'il ne soit trop tard. Il prospère parce qu'il ne coûte presque rien à produire et qu'il offre au lecteur la sensation d'acquérir en trente secondes ce que d'autres mettent des années à construire. Je n'ai rien contre la vulgarisation : elle est nécessaire, et j'en fais. J'ai quelque chose contre la promesse de maîtrise sans la peine — parce qu'elle laisse celui qui y croit plus démuni qu'avant. Il repart persuadé que le problème est réglé, et cesse de vérifier.

Nous construisons une infrastructure cognitive, et nous produisons notre propre code avec ces systèmes — sous une doctrine écrite, des règles opposables, et un outillage interne dont la fonction est précisément de les faire respecter. J'ai donc un avis, et ce n'est pas celui qu'on attend : ces sept règles sont utiles. La promesse qui les accompagne est fausse. Et l'écart entre les deux dit quelque chose d'important sur l'endroit où la confiance se construit réellement.

Ce qu'un prompt peut vraiment

Commençons par ce qui fonctionne, car il y a du vrai. Les règles anti-fabrication — n'invente pas de titre d'article, pas de nom d'auteur, pas de méthode qui n'existe pas dans la bibliothèque — ont un effet mesurable. Modeste, mais réel : elles relèvent le seuil auquel la machine produit du texte en forme de citation. Demander une source explicite à chaque affirmation change la manière dont la réponse se construit. Ce n'est pas rien, et quiconque a vu un modèle inventer une référence académique impeccablement formatée sait pourquoi cela compte.

Ce qui ne fonctionne pas, c'est la promesse centrale. Une hallucination n'est pas un comportement que la machine choisit, puis réprime sur instruction. C'est une défaillance de calibration. Quand un modèle se trompe, il se trompe avec assurance — l'erreur ne s'accompagne d'aucun signal interne qui dirait « je devine, là ». Lui demander de signaler ses doutes n'agit donc que là où le doute existe déjà. Cela ne crée pas le signal manquant. On demande à quelqu'un de nous prévenir quand il oublie quelque chose.

Nos propres spécifications techniques le formulent d'une phrase dont je ne connais pas d'équivalent plus exact : le niveau de confiance d'un système ne varie pas avec son niveau de connaissance. L'hallucination franche — la source inventée, la citation fabriquée — est la forme visible du problème, et elle tient à la mécanique même des modèles génératifs. La forme insidieuse est celle-ci : une vision partielle énoncée avec exactement la même assurance qu'une vision complète. Elle ne se signale par aucun indice dans le texte, et aucune consigne de prudence ne la fait apparaître, puisque le système ignore lui-même ce qui lui manque.

La consigne « signale tout ce dont tu n'es pas certain » produit une inflation de précautions sur des affirmations solides. Le lecteur apprend à les ignorer — et le jour où la réserve était justifiée, elle passe inaperçue avec les autres.

L'origine du mal est en amont

La cause n'est pas dans le prompt, et elle n'est pas non plus dans une quelconque malveillance de la machine. Elle est dans la manière dont ces systèmes sont évalués.

Un modèle qui répond obtient un score. Un modèle qui s'abstient obtient zéro. Sur des milliers de tests, deviner a une espérance positive : parfois juste, jamais pénalisé plus qu'un silence. Le comportement que nous déplorons est exactement celui que nos évaluations récompensent. Des travaux récents formalisent ce point — l'hallucination y apparaît moins comme un défaut résiduel des modèles que comme la conséquence rationnelle de leurs conditions d'entraînement et d'évaluation.

L'analogie tient en une phrase : dans un examen où une mauvaise réponse ne coûte rien et où une copie blanche coûte un point, tout étudiant rationnel remplit les blancs. Nous avons conçu l'examen, puis nous nous étonnons du candidat.

Les étoiles éteintes

Il y a pourtant une limite qu'aucune calibration, si parfaite fût-elle, ne franchirait : un système ne peut douter que de ce qu'on lui a dit. De l'intérieur, une information périmée et une information jamais reçue produisent exactement le même silence.

C'est la forme d'erreur la plus coûteuse, et la moins étudiée. Elle ne consiste pas à affirmer le faux — elle consiste à affirmer ce qui était vrai. Une conclusion exacte à la date où elle fut établie, appuyée sur les meilleures sources de son temps, parfaitement cohérente, et devenue fausse depuis sans que rien dans son énoncé ne le trahisse. Nous regardons des étoiles éteintes : la lumière est authentique, elle a seulement mis du temps à nous parvenir.

Rien ne signale ce vieillissement, parce qu'il n'a laissé aucune trace. La procédure révisée au printemps, le référentiel de votre secteur redéfini l'an dernier, l'expert dont le jugement corrigeait tacitement une documentation approximative et qui est parti à la retraite : de tout cela, le système n'a pas une connaissance incertaine. Il n'en a aucune — et il ignore qu'il n'en a aucune. Aucune consigne de prudence ne fait apparaître une absence dont on ignore l'existence.

Ce que nous avons dû construire à la place

Voici alors ce qui fonctionne, et ce n'est pas un prompt.

Le principe tient en une inversion : ne jamais demander à la machine d'examiner sa propre confiance, toujours la contraindre à se confronter à une source extérieure. Dans notre pratique quotidienne, cela donne des règles ennuyeuses et non négociables. Aucune affirmation sur le code sans l'avoir lu — le code fait foi, pas la spécification, pas la documentation, pas le souvenir de la veille. Toute modification est d'abord présentée à blanc, affichée, discutée, et n'est appliquée qu'après un accord explicite. La sortie de chaque étape est produite avant que la suivante ne commence. Un référentiel écrit, opposable, auquel toute assertion doit se conformer — et qui a priorité sur ce que la machine croit savoir.

Un exemple minuscule, de la semaine dernière. Je préparais un texte qui citait les entreprises signataires d'une lettre ouverte. Le système m'en a listé quatre, exactement du même ton, sans la moindre nuance entre elles. Trois étaient effectivement confirmées par plusieurs rédactions indépendantes. La quatrième ne l'était que par une seule, et probablement à tort. Rien, dans le texte produit, ne distinguait la fragile des trois solides : pas une hésitation, pas une réserve, pas un mot de plus sur l'une que sur les autres.

Ce qui a fait la différence n'est pas une formulation habile, c'est une règle : aucun nom n'est écrit avant d'avoir été confirmé par plusieurs sources indépendantes. Et c'est là que se joue le mot « extérieur », car on le comprend souvent de travers. La règle n'est pas extérieure parce qu'une autre machine vérifierait la première. Elle est extérieure parce qu'elle interdit de s'en remettre à ce que le système croit savoir, et l'oblige à produire des pièces que je peux lire moi-même. Le quatrième nom est tombé.

Ces règles ne sont pas restées des consignes. Nous les avons progressivement outillées — index de notre propre code, vérifications d'intégrité, plancher de confiance qui fait refuser de répondre plutôt que de répondre à côté. Et la leçon générale est là, bien plus que dans le détail technique : chaque fois qu'une règle de méthode a dépendu de la bonne volonté du système, elle a fini par céder ; chaque fois qu'elle a été portée par une procédure extérieure à lui, elle a tenu.

Cette méthode ne rend pas la machine fiable. Elle rend l'erreur coûteuse à dissimuler. Ce n'est pas la même chose — et c'est précisément pour cela qu'elle fonctionne.

De la déclaration à l'attestation

Il y a deux régimes de confiance, et nous les confondons constamment.

Le premier est déclaratif : le système annonce son degré de certitude, et vous le croyez — ou non. Toutes les listes de règles à copier dans les paramètres appartiennent à ce régime. C'est la confiance qu'on demande.

Le second est probatoire : chaque affirmation est confrontée à ses sources, tracée, datée, rejouable à l'identique. Vous ne croyez pas — vous vérifiez, ou quelqu'un vérifie pour vous, et le verdict tient dans le temps. C'est la confiance qu'on prouve. Elle a sécurisé l'industrie, la finance, l'aéronautique, bien avant l'informatique.

Le débat de cet été sur les modèles ouverts a rendu cette distinction très concrète. L'un des arguments les plus solides échangés entre les grands acteurs tenait en deux observations : les garde-fous intégrés à un modèle peuvent être retirés, et des poids une fois publiés ne se rappellent pas. Autrement dit, une protection installée dans le modèle est une propriété du modèle — elle le suit, y compris quand on le modifie, y compris quand on le remplace. Une couche qui atteste se tient au-dessus : elle ne dépend pas de la bonne conduite de ce qu'elle vérifie. C'est la seule position qui survive au fait que les moteurs changent, s'ouvrent, se banalisent — et ils sont en train de le faire.

Ce qui manque, et qui n'est pas un prompt

L'intelligence artificielle produit des réponses brillantes dont personne ne peut dire, à la lecture, si elles sont vraies — et le coût de cette incertitude est déjà chiffré, depuis qu'un cabinet international a remboursé un rapport de plusieurs centaines de milliers de dollars pour des références inexistantes. Ce dont nous avons besoin n'est ni un modèle de plus qui parle, ni sept règles de plus qui promettent. C'est une couche qui atteste : chaque affirmation reliée à ce qui la fonde, chaque verdict rejouable des années après, indépendamment du moteur qui a produit le texte. Le web a connu cette bascule en 1995, le jour où une petite icône a rendu vérifiable ce qu'on était jusque-là prié de croire — j'ai consacré un texte entier à cette analogie, et elle méritait mieux qu'un paragraphe.

Les commentateurs qui écrivaient « cela devrait être le comportement par défaut » avaient raison sur l'intention et se trompaient d'étage. Ce qu'ils réclament n'est pas une meilleure conduite du modèle. C'est une fonction qui n'existe pas à l'intérieur du modèle — et qui, structurellement, ne peut pas y exister.

Une architecture, pas un caractère

L'honnêteté n'est pas un trait de caractère qu'on installe en collant sept règles dans un champ de paramètres. C'est une architecture.

Nous le savions déjà pour les hommes : nous n'avons pas demandé aux marchands de jurer qu'ils disaient vrai, nous avons inventé la comptabilité, puis l'audit, puis la preuve opposable. Il reste à le faire pour la pensée. C'est un travail d'infrastructure, moins spectaculaire qu'une formule magique à copier-coller — et c'est le seul qui tienne.