Les limites des LLMs

Un LLM (Large Language Model - ChatGPT, Mistral, Claude, Gemini…), c'est une machine à statistiques capable de prédire le mot le plus probable après une séquence de mots donnée.

Un LLM ne raisonne pas réellement avec des mots. Quand on lui donne un texte, il découpe ce texte en tokens (1 token = environ 4 caractères) et analyse ces tokens.

Ainsi, il saura qu'après « tu », il est hautement plus probable d'écrire « es » que « est ». Et après « es », plus probable d'écrire « gentil » que « maison ».

Mais de là à dire qu'il comprend réellement ce qu'est « es », sa classe grammaticale, sa fonction… Il y a tout un monde !

Par exemple, quand on demande à Claude (le LLM le plus performant au moment de l'écriture de cet article) d'analyser les verbes dans le texte suivant :

• Développer les automatismes essentiels (majuscule, point, phrases courtes, etc.)
• Former au numérique et à l'utilisation du traitement de texte (taper des œ, É, Ç, mettre en gras, etc.)
• Apprendre à organiser son texte (cadre spatio-temporel, introduction, chronologie, développement, conclusion, etc.)
• S'entraîner à respecter les consignes

Il indique que les trois premières phrases commencent par des verbes, contrairement à la quatrième. Étonnant, non ?

Quand on parle de concepts un peu plus complexes comme déterminer si un mot est un attribut du sujet, c'est encore plus aléatoire.

Les LLMs sont aussi de très mauvais compteurs. Quand on demande à ChatGPT le nombre de « r » présents dans le mot « strawberry », la réponse ne se fait pas attendre : 2.

De même, ils ne savent pas compter le nombre de mots dans une phrase, déterminer si une phrase commence par une majuscule ou finit par un point et de façon générale paniquent lorsqu'ils sont confrontés à toute forme d'analyse grammaticale. Alors, comment faire pour analyser un texte ?

On essaie d'y répondre ici !