Pour le lancement d’EDEN nous avons abordé le sujet qui est sur toutes les lèvres : ChatGPT.
D’abord un rappel de l’histoire de l’intelligence artificielle : c’est un terme qui désigne la réunion qui a eu lieu à Dartmouth (USA) à l’été 1956, de spécialistes de logique, de psychologie et de mathématiques. Leur ambition : créer des machines capables d’accomplir des tâches cognitives, et donc de passer avec succès le test de Turing (en anglais : Imitation Game) popularisé par le mathématicien anglais.
Cette discipline a principalement donné naissance à deux courants de recherche : l’IA symbolique, pour transcrire en règles d’inférence les savoirs experts, et l’IA connexionniste, qui imite les cellules neuronales et leurs connexions. L’approche symbolique a conduit aux systèmes experts, largement utilisés dans les contrôles de processus industriels complexes. L’approche connexionniste, qui permet l’apprentissage par renforcement s’est envolée dans les années 2010 sous le triple effet conjugué de l’augmentation des données d’entraînement, de la puissance de calcul et de la sophistication des algorithmes de réglage des paramètres (la rétropropagation de gradient popularisée par le français Yann Le Cun).
ChatGPT est le dernier avatar de cette lignée connexionniste. Bluffant au premier abord, ce robot conversationnel élabore des réponses détaillées, globales et souvent pertinentes aux questions les plus diverses.
Passé la bonne surprise initiale, on relève peu à peu ses limites, qu’il est bon de connaître :
sa base d’entraînement date de mi-2021 pour la version gratuite
les réponses données sont parfois fausses, quel que soit le champ de connaissances exploré. Dans cas il est nécessaire d’être déjà compétent pour le repérer… et le corriger.
les éléments de réponse sont agrégés dans un français très correct et lisible, ce qui élimine – en apparence – le besoin d’apprendre soi-même à formuler, problématiser, argumenter, déduire et conclure.
L’usage du “langage naturel” est connu pour être un atout de ChatGPT.
Mais qu’en est-il si on demande à des experts du langage naturel – des linguistes – d’en juger ?
Une expérience menée dans les états américains de Floride et du Tennessee conclut… qu’on ne peut rien en conclure : des linguistes confrontés à des extraits d’articles académiques ne parviennent pas à distinguer un article écrit par une IA d’un article rédigé par un chercheur humain.
J’ai écrit l’article qui suit pour Le Mag #4 du réseau Avignon d’établissements scolaires, disponible ici (pages 17-19).
Le “perroquet stochastique”
C’est le nom donné par Timnit Gebru, Emily Bender, Angelina McMillan-Major et Shmargaret Shmitchell, des chercheuses américaines, à des modèles de langage de plus en plus volumineux capables de produire du texte de bonne qualité selon des critères de probabilité mais sans en comprendre le sens. De façon plus neutre on parle d’ “IA générative”.
L’avatar le plus récent – et déjà le plus connu – de cette lignée est sans nul doute ChatGPT, un agent conversationnel disponible en ligne (et gratuitement sur l’Apple Store depuis le 18mai 2023), capable de répondre de façon convaincante à des questions de connaissances sur le monde telles que “pourquoi le ciel est-il bleu ?”, “rédige une note d’une page sur la vie de Maupassant”, ou bien “explique à un enfant de dix ans, en espagnol et avec quelques fautes d’orthographe, le fonctionnement d’un ordinateur quantique”.
6 mois seulement après sa disponiblité par l’entreprise OpenAI en novembre 2022, plus de 200 millions de personnes dans le monde l’utilisent régulièrement. Ce succès a accéléré les travaux dans ce domaine par les géants du net (GAFAM – Google, Apple, Facebook-Meta, Amazon, MIcrosoft), dans une course à l’armement technique en termes d’IA générative.
Une IA générative est un programme informatique capable d’identifier des traits distinctifs dans des données fournies (par exemple les mots d’une question), d’associer un contenu déjà archivé à chacun de ces traits (par exemple un article de presse ou une image), et de les combiner pour produire un tout cohérent (par exemple une argumentation de 2 pages). Le procédé qui l’implémente est appelé réseau de neurones artificiels, en ce qu’il s’inspire de la façon dont nos propres neurones élaborent des connexions qui se renforcent par apprentissage.
Concrètement, notre perroquet s’appuie sur :
un ensemble gigantesque d’échantillons de textes, ou bien d’images, de sons ou de vidéos, que l’on appelle des entrées; ce peut être également des relevés de mesure, ou tout type de données dont l’on souhaite extraire des traits caractéristiques. Ces données sont codées numériquement pour se prêter à des calculs.
des fonctions mathématiques, qui effectuent une pondération des entrées en plusieurs étapes ou couches. Les pondérations ne sont pas fixes, elles évoluent pour corriger les erreurs sur les cas connus.
un processus d’apprentissage, qui nourrit le modèle avec des “exercices corrigés”, c’est-à-dire des questions accompagnées de leur réponse.
Chacun de ces éléments constitue un axe d’amélioration autant qu’ll comporte un point de vigilance :
le corpus de données utilisées croît sans cesse en taille, mais peut comporter des biais de collecte, de priorité ou d’origine (par exemple les réseaux sociaux), et les sources ne sont pas identifiées, ce qui pose un problème de fiabilité et de droits d’auteur.
les calculs mathématiques sont organisés en couches de plus en plus nombreuses (on parle de réseau de neurones profonds ou d’apprentissage profond – deep learning) qui permettent aux pondérations d’évoluer de façon très subtile et efficace au fil de l’apprentissage, au point qu’il est devenu impossible de prédire le comportement du réseau, et donc de justifier a posteriori une décision ou une réponse.
le choix des réponses pour le jeu de données d’entraînement (les “exercices corrigés”) n’est pas neutre et est porteur de biais cognitifs – comme le choix du corpus.
Si l’on accepte l’idée que les questions nous aident à décider, alors il est impératif d’avoir un droit de regard sur la façon dont les IA génératives y répondent. Sinon nous courons le risque – collectif – de fonder nos décisions sur le brouhaha biaisé d’une armée de perroquets stochastiques.
A la question “qu’est-ce qu’un perroquet stochastique ?”, ChatGPT répond :
(par défaut)
Un perroquet stochastique n’est pas une espèce de perroquet réelle, mais plutôt un concept humoristique ou une expression imagée. “Stochastique” fait référence à la notion de probabilité ou d’aléatoire en mathématiques et en statistiques.
Dans le contexte d’un perroquet stochastique, on pourrait imaginer un perroquet qui ne répète pas simplement les mots ou les phrases qu’il entend, mais qui les reproduit de manière aléatoire ou imprévisible. Au lieu de répéter exactement ce qu’il a entendu, il pourrait les mélanger, les transformer ou les combiner de manière inattendue.
C’est une façon humoristique de jouer avec le concept de la répétition caractéristique des perroquets en lui ajoutant un élément de surprise ou d’incertitude. Cela pourrait également être utilisé pour décrire quelqu’un qui répète des informations ou des idées de manière incohérente ou aléatoire, sans vraiment comprendre leur signification.
En résumé, le terme “perroquet stochastique” est une expression ludique qui associe l’idée d’un perroquet qui répète des mots à celle de l’imprévisibilité ou de l’aléatoire.
ChatGPT ne croit pas si bien dire !
Il est intéressant de noter que sa réponse ignore superbement l’article original de Timnit Gebru et ses co-autrices, qui lui donnaient un sens bien particulier – et péjoratif. La version originale est ici
![Elon in [TIME]](https://www.nsi.lycee-jdo13.fr/wp-content/uploads/2023/10/Elon-Musk.jpg)
