ChatGPT et autres perroquets stochastiques

J’ai écrit l’article qui suit pour Le Mag #4 du réseau Avignon d’établissements scolaires, disponible ici (pages 17-19).

Le “perroquet stochastique”

C’est le nom donné par Timnit Gebru, Emily Bender, Angelina McMillan-Major et Shmargaret Shmitchell, des chercheuses américaines, à des modèles de langage de plus en plus volumineux capables de produire du texte de bonne qualité selon des critères de probabilité mais sans en comprendre le sens. De façon plus neutre on parle d’ “IA générative”.

L’avatar le plus récent – et déjà le plus connu – de cette lignée est sans nul doute ChatGPT, un agent conversationnel disponible en ligne (et gratuitement sur l’Apple Store depuis le 18mai 2023), capable de répondre de façon convaincante à des questions de connaissances sur le monde telles que “pourquoi le ciel est-il bleu ?”, “rédige une note d’une page sur la vie de Maupassant”, ou bien “explique à un enfant de dix ans, en espagnol et avec quelques fautes d’orthographe, le fonctionnement d’un ordinateur quantique”.

6 mois seulement après sa disponiblité par l’entreprise OpenAI en novembre 2022, plus de 200 millions de personnes dans le monde l’utilisent régulièrement. Ce succès a accéléré les travaux dans ce domaine par les géants du net (GAFAM – Google, Apple, Facebook-Meta, Amazon, MIcrosoft), dans une course à l’armement technique en termes d’IA générative.

Une IA générative est un programme informatique capable d’identifier des traits distinctifs dans des données fournies (par exemple les mots d’une question), d’associer un contenu déjà archivé à chacun de ces traits (par exemple un article de presse ou une image), et de les combiner pour produire un tout cohérent (par exemple une argumentation de 2 pages). Le procédé qui l’implémente est appelé réseau de neurones artificiels, en ce qu’il s’inspire de la façon dont nos propres neurones élaborent des connexions qui se renforcent par apprentissage.

Concrètement, notre perroquet s’appuie sur :

• un ensemble gigantesque d’échantillons de textes, ou bien d’images, de sons ou de vidéos, que l’on appelle des entrées; ce peut être également des relevés de mesure, ou tout type de données dont l’on souhaite extraire des traits caractéristiques. Ces données sont codées numériquement pour se prêter à des calculs.
• des fonctions mathématiques, qui effectuent une pondération des entrées en plusieurs étapes ou couches. Les pondérations ne sont pas fixes, elles évoluent pour corriger les erreurs sur les cas connus. 
• un processus d’apprentissage, qui nourrit le modèle avec des “exercices corrigés”, c’est-à-dire des questions accompagnées de leur réponse.   

Chacun de ces éléments constitue un axe d’amélioration autant qu’ll comporte un point de vigilance :

• le corpus de données utilisées croît sans cesse en taille, mais peut comporter des biais de collecte, de priorité ou d’origine (par exemple les réseaux sociaux), et les sources ne sont pas identifiées, ce qui pose un problème de fiabilité et de droits d’auteur.
• les calculs mathématiques sont organisés en couches de plus en plus nombreuses (on parle de réseau de neurones profonds ou d’apprentissage profond – deep learning) qui permettent aux pondérations d’évoluer de façon très subtile et efficace au fil de l’apprentissage, au point qu’il est devenu impossible de prédire le comportement du réseau, et donc de justifier a posteriori une décision ou une réponse.
• le choix des réponses pour le jeu de données d’entraînement (les “exercices corrigés”) n’est pas neutre et est porteur de biais cognitifs – comme le choix du corpus.

Si l’on accepte l’idée que les questions nous aident à décider, alors il est impératif d’avoir un droit de regard sur la façon dont les IA génératives y répondent. Sinon nous courons le risque – collectif – de fonder nos décisions sur le brouhaha biaisé d’une armée de perroquets stochastiques.

A la question “qu’est-ce qu’un perroquet stochastique ?”, ChatGPT répond :

(par défaut)

Un perroquet stochastique n’est pas une espèce de perroquet réelle, mais plutôt un concept humoristique ou une expression imagée. “Stochastique” fait référence à la notion de probabilité ou d’aléatoire en mathématiques et en statistiques.

Dans le contexte d’un perroquet stochastique, on pourrait imaginer un perroquet qui ne répète pas simplement les mots ou les phrases qu’il entend, mais qui les reproduit de manière aléatoire ou imprévisible. Au lieu de répéter exactement ce qu’il a entendu, il pourrait les mélanger, les transformer ou les combiner de manière inattendue.

C’est une façon humoristique de jouer avec le concept de la répétition caractéristique des perroquets en lui ajoutant un élément de surprise ou d’incertitude. Cela pourrait également être utilisé pour décrire quelqu’un qui répète des informations ou des idées de manière incohérente ou aléatoire, sans vraiment comprendre leur signification.

En résumé, le terme “perroquet stochastique” est une expression ludique qui associe l’idée d’un perroquet qui répète des mots à celle de l’imprévisibilité ou de l’aléatoire.

ChatGPT ne croit pas si bien dire !

Il est intéressant de noter que sa réponse ignore superbement l’article original de Timnit Gebru et ses co-autrices, qui lui donnaient un sens bien particulier – et péjoratif. La version originale est ici 

https://dl.acm.org/doi/pdf/10.1145/3442188.3445922

Il semble que ce soit bien cet article qui soit à l’origine du licenciement de l’une.d’elles par Google :

https://www.wired.com/story/behind-paper-led-google-researchers-firing/