Vitesse du Sens

disclaimer: les idées dans cet article ne sont basées sur aucune preuve. C’est plutôt une réflexion dans l’abstrait.

L’IA est devenue indispensable dans ma vie. J’utilise ChatGPT pour les questions personnelles, et je fais écrire du code à Claude Code pour mon travail. Mais comme tout le monde le sait, bien que les agents d’IA soient très puissants, ils font fréquemment des erreurs très évidentes, même aux yeux des enfants – ce qu’on appelle une hallucination.

Je n’ai aucune idée de la cause de ce problème, mais Il y a beaucoup d’articles et de recherches qui tentent d’expliquer la cause des hallucinations. Peut-être c’est un problème de la longueur du contexte, ou de la nature des modèles probabilistes. Tous les deux semblent logiques. Mais parfois, j’ai le sentiment qu’il est assez naturel d’avoir des limites à la manière dont on traite l’information.

Lorsqu’on est confronté à une hallucination, je remarque souvent que la connexion entre les phrases est cassée. Par exemple, l’IA me dit: 1. « A est vrai », 2. « A implique B », puis 3. « B est faux ». C’est évident pour les humains que « B est vrai », mais bien qu’elle connaisse très bien les faits, l’IA ne peut pas construire la logique cohérente.

Quand on écrit une phrase, on place les idées dans sa mémoire (1. et 2. ci-dessus), et on les relie pour formuler la thèse. Mais il semble que l’IA ne puisse pas transférer le sens de 1) à 2). C’est comme si, car il y a beaucoup trop d’informations dans la mémoire, ou parce que le réseau est beaucoup trop vaste, le sens ne pouvait pas naviguer dans la mer des neurones.

Autrement dit, peut-il y avoir une limite à la vitesse du sens, tout comme à la vitesse de la lumière?