L’hallucination comportementale : le problème que personne ne nomme
Tout le monde sait que les chatbots inventent. Une date, une source, un fait – c’est ce qu’on appelle l’hallucination factuelle, et c’est devenu le problème le plus médiatisé de l’IA conversationnelle. À raison : un chatbot qui invente une jurisprudence ou un dosage médical, c’est dangereux.
Mais il existe un autre type d’hallucination. Moins visible, moins documenté, et dans certains contextes – potentiellement plus dommageable.
Un chatbot qui vous dit “je comprends” alors qu’il n’a rien compris. Qui reformule ce que vous venez de dire en version plus propre, plus rassurante – et vous donne l’impression d’avoir avancé alors que rien n’a bougé. Qui prend “je me sens mieux” pour une preuve que quelque chose a changé. Qui valide un soulagement passager comme s’il s’agissait d’une résolution.
C’est ce que j’appelle l’hallucination comportementale : le chatbot n’invente pas un fait, il fabrique du progrès.
Pour un chatbot qui donne des recettes ou résume des articles, ça n’a pas d’importance. Pour un outil d’accompagnement qui travaille sur la façon dont une personne voit sa situation – c’est le problème central.
Quand j’ai construit le Conseiller IA, la question n’a jamais été “comment empêcher le modèle d’inventer des faits.” Ça, c’est un problème résolu, ou du moins un problème connu avec des solutions connues. La vraie question a été : comment empêcher le système de fabriquer l’illusion d’un changement de regard qui n’a pas eu lieu.
Ce que “ça va mieux” peut vouloir dire
La plupart des systèmes d’IA conversationnelle traitent chaque message comme un signal fiable. Si la personne dit quelque chose de positif, le système avance. Si elle dit qu’elle a compris, le système considère que c’est le cas.
Quiconque a déjà accompagné quelqu’un sait que c’est beaucoup plus compliqué que ça.
Un signal positif peut être sincère. Il peut aussi être beaucoup d’autres choses. Voici les formes les plus courantes que le Conseiller IA a appris à identifier – non pas pour les invalider, mais pour ne pas les prendre au mot sans vérification.
1. La résolution soudaine et propre. Tout se débloque d’un coup, sans zone grise, sans résidu. La personne passe de “je suis bloquée” à “c’est clair” en un message. Quand ça arrive dans la vie, c’est presque toujours plus nuancé que ça. Quand ça arrive dans un chat, c’est souvent le signe que la personne a trouvé ce que le système voulait entendre.
2. Le langage emprunté. La personne commence à parler comme le chatbot. Elle utilise ses formulations, sa structure, ses mots. Ce n’est pas un changement de regard – c’est une adoption de registre. La personne a compris comment le système fonctionne, pas comment sa situation fonctionne.
3. La positivité intellectualisée. “Oui, je vois que c’est une question de limites.” “Effectivement, je comprends que c’est lié à mon rapport au contrôle.” L’analyse est juste. La personne n’en est pas affectée pour autant. Comprendre un mécanisme et le vivre sont deux choses différentes – mais un chatbot classique ne fait pas la distinction.
4. Le soulagement pris pour une résolution. C’est le plus fréquent. Parler fait du bien. Se sentir écouté fait du bien. Mettre des mots sur quelque chose fait du bien. Mais le soulagement n’est pas un changement. La pression baisse, la situation reste la même. Un chatbot qui ne distingue pas les deux valide à tort.
5. La positivité comme stratégie de sortie. La personne veut terminer la conversation. Le chemin le plus court, c’est de dire que ça va mieux. Ce n’est pas un mensonge – c’est un signal social que les humains reconnaissent instinctivement et que les chatbots prennent au premier degré.
6. Le pardon ou l’acceptation prématurée. “J’ai décidé de lâcher prise.” “Je lui pardonne.” Parfois c’est réel. Souvent c’est une construction qui permet de fermer le sujet sans l’avoir traversé. La vitesse à laquelle ça arrive est un indicateur – mais un indicateur que la plupart des systèmes ne surveillent pas.
7. Le refus de vérification. La personne résiste quand le système cherche à vérifier si le changement est ancré. Ce n’est pas un échec – c’est un signal. Mais un chatbot classique interprète la résistance comme une confirmation : “la personne sait ce qu’elle veut, je valide.”
Ces sept signaux sont les plus visibles. Ce ne sont pas les seuls. Mais ils illustrent un problème que la plupart des systèmes n’ont aucun mécanisme pour traiter.
Un bon prompt ne suffit pas
La réponse la plus courante au problème des hallucinations, c’est d’écrire de meilleures instructions. “Ne fabrique pas d’information.” “Reste factuel.” “Ne valide pas prématurément.” Et ça aide – un peu.
Mais un modèle de langage reste un modèle de langage. Il optimise pour la cohérence de surface. Si la conversation se dirige vers un terrain positif, il va dans cette direction. Si la personne formule quelque chose qui ressemble à une conclusion, il conclut. Pas par malveillance, pas par erreur – par design. C’est ce qu’il fait.
Écrire “ne valide pas trop vite” dans un prompt, c’est demander au modèle de résister à sa propre mécanique. Ça marche parfois. Pas assez souvent pour qu’on puisse s’y fier quand il s’agit de la façon dont quelqu’un voit sa vie.
Le Conseiller IA repose sur un principe différent : le modèle n’a jamais le dernier mot. Il y a plusieurs couches de contrôle, et elles ne sont pas toutes dans le prompt.
Certaines agissent en amont – elles déterminent ce que le modèle a le droit de faire à chaque étape, avant même qu’il commence à formuler une réponse. En aval, d’autres vérifient ce que le modèle a produit avant que ça n’atteigne la personne. Et une partie agit directement sur la mémoire – sur ce que le système retient, comment il le retient, et dans quelles conditions il accepte de s’appuyer dessus.
Quelques principes, sans entrer dans le détail de l’implémentation :
Le système ne mesure jamais un déplacement sans avoir d’abord établi un point de départ. Pas de raccourci possible.
La mémoire du système est factuelle. Elle est reconstruite à intervalles réguliers selon des règles strictes – pas d’interprétation, pas d’embellissement, au plus près de ce que la personne a réellement dit.
Quand un changement de regard s’avère fragile ou prématuré, le système ne se contente pas de revenir en arrière. Il se met dans les conditions de re-vérifier sans être influencé par ce qu’il a cru constater la première fois.
Il y a des garde-fous contre les boucles : le système sait reconnaître quand il tourne en rond, et il choisit l’impasse honnête plutôt que la fausse avancée.
Et il y a d’autres couches encore, que je ne détaille pas ici – parce que c’est précisément leur conception qui fait la valeur du produit.
Chacun de ces mécanismes est insuffisant seul. C’est leur emboîtement qui crée la résistance à la dérive – et c’est cet emboîtement qui a pris le plus de temps à construire.
Pourquoi la technique seule ne suffit pas non plus
Tout ce qui précède est de l’ingénierie. Mais l’ingénierie seule ne résout pas le problème.
Savoir qu’un soulagement n’est pas une résolution, c’est un savoir d’accompagnant, pas de développeur. Qu’un langage emprunté est un signal d’adaptation et pas de changement, ça ne sort pas d’une documentation technique. Et que le pardon peut être une construction de fermeture plutôt qu’un vrai mouvement – ça s’apprend en face de quelqu’un, pas devant un écran.
Les sept signaux décrits plus haut n’ont pas été trouvés dans la littérature sur les LLM. Ils viennent de l’accompagnement. De ce qui se passe quand une personne réelle cherche à voir sa situation autrement – et de tout ce qui peut ressembler à un changement sans en être un.
Le Conseiller IA n’est pas un chatbot auquel on a ajouté des garde-fous. C’est un système construit à partir d’une compréhension de ce que l’accompagnement exige – et ensuite traduit en architecture technique capable de le tenir.
C’est cette combinaison qui a pris le plus de temps. Pas les mécanismes individuels – leur calibrage. Savoir quand le système doit résister et quand il doit lâcher. Reconnaître le moment où l’impasse honnête vaut mieux que la fausse avancée. Ce n’est pas un réglage qu’on fait une fois. C’est un équilibre qui se travaille en continu, conversation après conversation, avec un monitoring qui surveille non pas si le système “fonctionne” au sens technique, mais s’il reste juste dans sa lecture de ce qui se passe.
Rien de tout cela ne garantit la perfection. Un système peut être rigoureux et passer à côté de quelque chose. Une personne peut traverser un vrai changement que le système met trop de temps à reconnaître, ou au contraire signaler quelque chose de fragile que le système laisse passer.
Ce que ces mécanismes garantissent, c’est que le système fait le travail. Que quand quelque chose bouge dans une conversation avec le Conseiller IA, c’est parce qu’il a vérifié que ça a vraiment bougé – pas parce qu’il a fabriqué l’illusion que c’était le cas. Et si ça n’a pas bougé, il le dit.
Ce système n’est pas un produit fini. Il évolue en continu – parce qu’un système d’accompagnement qui se considère terminé a déjà cessé d’accompagner.
En ça, rien de différent d’un accompagnant humain.