GPT-3 et IA génératives : mieux les cerner pour en définir les usages avec pertinence

Si ChatGPT vous est inconnu, c’est sans doute que vous vous êtes déconnecté durablement du web et des réseaux sociaux… Impossible en effet d’échapper au buzz généré par son lancement, fin 2022, par la société OpenAI ! Or, derrière cet agent conversationnel incroyablement performant se cache le modèle GPT-3, qui permet de générer des textes, de les résumer ou de les traduire –entre autres – et même de produire du code. Comment fonctionne GPT-3 et quels sont les enjeux, manifestes ou émergents, du développement de ces IA génératives ? Exploration.

Comment fonctionnent les IA génératives, dont GPT-3 fait partie ?

Évoquons tout d’abord la nature des IA génératives, qui peuvent porter sur du texte – comme GPT-3, qui propulse le désormais célèbre ChatGPT – ou sur des images (DALL-E ou Stable Diffusion, entre autres). Les premières relèvent du Natural Language Processing (NLP) – ou traitement automatique du langage, en français (TAL). Celui-ci comporte une partie « linguistique » : il s’agit de traiter les données textuelles entrantes pour pouvoir les transformer en données numériques. Le texte brut est tout d’abord « nettoyé » des url, emojis, etc. Puis il est « normalisé », via un découpage en plusieurs morceaux ou tokens, et par l’identification de la racine des mots ou de leur forme canonique, entre autres. La transformation en données numériques intervient principalement par la méthode du Word Embedding - « plongement lexical » ou vectorisation des mots, en français.

Or, depuis 2018, cette vectorisation des mots repose sur une nouvelle architecture : Transformer[1]. Le « référencement » des mots ne s’opère plus par leurs positions ni leur ordre, mais par le contenu et le contexte. Google ayant rendu public le code de son modèle BERT (basé sur Transformer), plusieurs autres modèles, librement inspirés du concept de Transformer, ont vu le jour. C’est notamment le cas de GPT (Generative Pre-trained Transformer) – de GPT-1 à GPT-3 et bientôt, 4 – propulsé par OpenAI, une société commerciale à but lucratif plafonné[2] financée en grande partie par Microsoft.

Quels sont les principes de base de ChatGPT ?

GPT-3 comporte donc une dimension de Machine Learning (capacité à s’adapter automatiquement avec une interférence humaine limitée mais indispensable), voire de Deep Learning. Ce dernier est un sous-ensemble du Machine Learning qui utilise les « réseaux de neurones » pour mimer le processus d’apprentissage du cerveau humain.

Focalisons-nous à présent sur l’algorithme de NLP ChatGPT – que l’on peut qualifier de version grand public de GPT-3. Entraîné sur un gigantesque corpus de 500 milliards de données textuelles, il recourt à l’apprentissage supervisé et au Reinforcement Learning. Tout commence avec des conversations dans lesquelles l’utilisateur et l’agent conversationnel sont joués, afin de pouvoir labelliser les données. La phase suivante consiste à classer les réponses issues de ces interactions. Des formateurs humains interviennent ici : on parle de Reinforcement Learning from Human Feedback. Ce classement permet de générer un modèle de récompenses. Celui-ci  est à son tour amélioré par un algorithme de Reinforcement Learning PPO, qui évalue et optimise la « politique » initiale en se basant sur les actions menées et les récompenses obtenues. Un nouveau modèle émerge alors – c’est le modèle final de cette phase : le Policy Model. Ce dernier améliore le modèle initial de labellisation des données. Les étapes décrites ci-dessus peuvent alors être réitérées en boucle. Par ailleurs, l’algorithme continue à s’auto-entraîner (de façon autonome donc) lors de ses échanges avec des utilisateurs.

Quels sont les usages de cette technologie – et ses applications en matière de communication ou de formation ?  

Sans viser l’exhaustivité, voici quelques-unes des fonctionnalités offertes par le modèle GPT-3 et/ou ChatGPT : rédaction ou résumé de textes de toute nature ; détection de la tonalité des textes ; production de FAQ (foire aux questions) ; génération de contenus pour le référencement naturel (SEO) ; classification de documents ; transcription de vidéos ou reconnaissance vocale à partir de celles-ci ; etc.

Des usages identifiés par OpenAI et les early observers de ces IA génératives, peuvent surgir d’autres applications, notamment en matière de communication / marketing, d’enseignement et d’apprentissage, ou de service client. Ainsi, dans le cadre de la formation initiale, le réseau Canopé (réseau de création et d’accompagnement pédagogiques du ministère de l’Éducation nationale), invite les enseignants à découvrir le potentiel de ces IA susceptibles de leur fournir une assistance significative. Ceci pour créer des énoncés d’exercices par exemple, ou pour documenter une thématique, mieux comprendre et transmettre une « culture » des IA – entre autres. Les élèves sont quant à eux encouragés à pasticher un auteur ou un style (pour apprendre à analyser et comparer), ou à questionner les résultats générés par des IA à la lumière d’autres sources - afin de repérer des biais éventuels. L’enjeu est, notamment, de permettre aux élèves et étudiants de développer leur pensée critique[3] à l’égard de ces technologies.  

Dans le même temps, certains organismes de formation (continue) proposent d’ores et déjà des offres dédiées. Elles visent aussi bien les responsables ou chargés de communication que leurs homologues du marketing ou les chefs de produits, les concepteurs-rédacteurs, content managers et journalistes. Parmi les objectifs, on trouve « l’industrialisation de la démarche de production de contenus pour le Search, la communication sur les réseaux sociaux, la création d’emails et d’articles ou celle de fiches produits ».     

Pour sa part, Ludovic Cinquin, cofondateur et CEO d’OCTO Technology, évoque les métiers susceptibles de profiter des fonctionnalités de GPT-3 / ChatGPT – sachant que leur disruption se profile en parallèle… Des développeurs aux community managers, des traducteurs aux consultants ou aux avocats, tous peuvent désormais confier certaines tâches aux IA génératives. C’est aussi le cas des métiers du support clients, et des professionnels RH ! Proposer une expérience personnalisée d’achat, partager des informations ciblées aux collaborateurs de façon interactive, nourrir une conversation RH en étant joignable H24… tout cela devient possible, dans de bonnes conditions, grâce à ces modèles de langage surpuissants ! 

Quels sont les risques d’un recours généralisé à GPT-3 ou aux autres IA génératives ?  

Première illustration avec des questions incongrues posées par Olivier Bouba-Olga, professeur des universités en détachement comme chef du service Études et Prospective de la région Nouvelle-Aquitaine. Interrogé par l’enseignant, ChatGPT a ainsi transmis le poids « d’un œuf de baudet du Poitou »... L’agent conversationnel a aussi assuré que le poids « d’un œuf de baudet du Poitou » est supérieur à celui d’un « œuf de vache landaise ». Et quand Olivier Bouba-Olga, décidément taquin, s’est étonné que le poids d’un « œuf de baudet du Poitou » soit supérieur de 50 % à celui d’un « œuf de vache landaise » - alors que les deux animaux adultes pèsent sensiblement pareil -, ChatGPT a indiqué que « la taille d’un œuf dépend du poids et de la taille de la volaille ».   

Ce que révèlent – ou rappellent – ces erreurs, c’est que ChatGPT ne « comprend » pas les informations qu’il transmet. Quoi de plus normal, le langage qu’il produit n’étant qu’une « simulation » de langage humain ? En revanche, quand l’enseignant a spécifié à ChatGPT que les baudets du Poitou, comme les vaches landaises, ne pondaient pas d’œufs, le robot conversationnel l’a instantanément intégré dans ses réponses.

En parallèle, d’autres risques ont été identifiés. Ainsi, dans le cadre de la formation initiale, la possibilité de plagiat offerte aux élèves et étudiants est d’ores et déjà avérée. Sciences Po Paris a d’ailleurs été la première institution à réagir en interdisant formellement le recours à ChatGPT dans le cadre d’évaluations, pour « se donner le temps de la réflexion ». Le problème majeur tient dans l’absence de véritable apprentissage – par manque de réflexion sur le sujet et de compréhension ou d’appropriation des enjeux.

Plus globalement, le recours massif à GPT-3 pour produire des informations pourrait s’avérer périlleux. En effet, derrière le terme générique d’informations ou de contenus se cachent des idées, raisonnements, analyses, voire les prémices de futures innovations. Supposons que les algorithmes générateurs de textes soient bientôt à l’origine de la grande majorité des ressources partagées en ligne : construirons-nous notre pensée sur cette base ? La réflexion humaine, plus laborieuse à élaborer, sera-t-elle réservée à quelques privilégiés ? Sachant qu’elle repose sur des raisonnements et des mises en perspective, mais aussi sur une part d’émotions et d’expériences, sur des renversements d’angles ou de logiques, des cheminements non linéaires, etc. Sous prétexte d’un volume d’informations de plus en plus important et déjà ordonné à mettre à disposition toujours plus vite, doit-on courir le risque d’un appauvrissement global de notre vision du monde ?

Quels sont les coûts cachés de ces IA, GPT-3 ou autres ?

Depuis son lancement en novembre 2022, les retours relatifs à ChatGPT font état de son caractère magique. Une « magie » qui ressemble à l’enfer pour certains de ceux qui l’ont rendue possible. En effet, selon une enquête du magazine américain Time reprise en France par Cadremploi notamment[4], l’entraînement de l’outil de détection des contenus toxiques, intégré à ChatGPT, a induit de confronter des « étiqueteurs de données » kenyans à des textes d’une violence insoutenable. Le caractère abject des descriptions textuelles qu’ils ont dû lire a provoqué des troubles psychologiques chez nombre d’entre eux. L’un de ces étiqueteurs explique souffrir aujourd’hui de « visions récurrentes » traumatiques. Or, comme l’indique Gilles Riou, président-fondateur d’Egidio, un cabinet de conduite d’enquêtes internes suite à des alertes RH, les « rétroactions d’entraînement des IA » exposent un nombre croissant d’individus à des contenus comportant des atrocités. Ce phénomène va donc bien au-delà de GPT-3 / ChatGPT.     

Autres coûts cachés, plus aisément perceptibles : la question des droits d’auteur, et celle du droit à l’intimité / de la protection des données personnelles. En effet, à qui appartiennent les textes produits par ChatGPT en réponse à la question d’un utilisateur ? Et comment s’assurer que les données personnelles collectées par les IA génératives ne soient pas utilisées à des fins non autorisées ? Par ailleurs, dans la mesure où l’on ne peut accéder aux « boîtes noires » de ces IA, le risque de prise de décision basée sur des données discriminatoires ou biaisées, s’avère majeur. Comme le souligne Jérémy Lamri, cofondateur du Lab RH et de Tomorrow Theory dont il est aussi CEO, il est crucial de déterminer « qui est responsable des décisions et des actions menées par les IA génératives ».

Enfin, à l’heure où une sobriété accrue s’impose en matière énergétique et environnementale - dans le temps court comme à longue échéance -, la puissance de calcul nécessaire à ces gigantesques modèles de langage, interroge.

Reconnaissons-le : le perfectionnement des IA génératives signe un changement d’époque. Plusieurs autres agents conversationnels concurrents de ChatGPT sont d’ailleurs en passe d’être lancés : Bard, par Google, et Ernie bot, par Baidu. Quant à Microsoft, son moteur de recherche Bing est désormais adossé à un modèle de langage de type GPT-3.5 probablement - en beaucoup plus puissant[5]. Cela pose toutefois de multiples questions. Car, en faisant abstraction du « projet » que nous confions à ces IA, nous faisons aussi l’impasse sur la façon dont nous souhaitons construire notre avenir.