Mais en fait, c'est quoi l'IA ?
L'IA, c'est un peu comme une recette de cuisine. On donne des instructions à un ordinateur et éventuellement du matériel. Puis on lui donne des aliments et il nous fait un plat.
Il peut y avoir des recettes très compliquées, on peut lui demander de fournir une grande quantité de plats, on peut lui fournir des aliments périmés et évidemment, il s'adaptera plus ou moins bien en fonction des cas. On peut même lui demander de faire des plats sans lui fournir d'aliments…
Depuis quelques années, avec le développement du machine learning, du deep learning et plus récemment des Large Language Models (LLM = ChatGPT, Claude, Mistral), l'IA est avant tout devenue une grosse machine à statistiques. Pour l'entraîner, on lui fournit des données labellisées (par exemple des photos d'animaux avec le nom de chaque animal présent dans la photo). Puis l'IA s'entraîne à deviner le nom de l'animal. À chaque bonne réponse, l'IA gagne des points et en perd à chaque mauvaise. Et c'est en cherchant à maximiser son nombre de points qu'elle apprend à reconnaître des images de chats !
Un LLM, c'est pareil ! C'est une grosse machine à qui l'on fournit du texte et qui génère, mot après mot, la réponse la plus probable. C'est un peu comme la suggestion automatique sur les smartphones. Mais ça reste une grosse boîte noire et personne n'est capable de véritablement expliquer pourquoi ça marche.
Pour entraîner un LLM, c'est tout un bazar. Il faut leur donner énormément de données (les derniers modèles utilisent la quasi-totalité des textes numérisés disponibles dans le monde) et un nombre gigantesque de paramètres (un peu comme des colonnes dans un Excel qui permettent de décrire chaque donnée fournie). À ce jour, les derniers modèles contiennent plus de 400 milliards de paramètres… Ça fait beaucoup !
Ça fait tellement, que faire tourner toutes ces données coûte cher, très cher. Par exemple Mistral, notre pépite française, a levé plus d'un demi-milliard de dollars pour faire tourner ses machines. C'est aussi très long - plusieurs mois.
Mais grâce à tout ce travail, nous avons accès à des modèles nouveaux, capables de comprendre un texte et d'écrire des choses intéressantes. Et c'est grâce à ça que l'on peut travailler l'écrit.