Après ChatGPT : où en est-on avec les modèles de langage ?

Les modèles de langage (type BERT, GPT3, ChatGPT… et bientôt GPT4) ont profondément changé le traitement automatique des langues ces dernières années. Ils ont permis d’atteindre des niveaux de performances inégalés jusque là, sur de nombreuses tâches et dans de nombreuses langues. Dans le même temps, leur fonctionnement reste encore assez opaque, et fait l’objet de recherches intenses (la « Bertology »). Aussi ces modèles posent-ils de multiples questions.

• Peut-on dire que ces modèles « comprennent » la langue ? Et si oui, en quoi ? Jusqu’à quel point ?
• Quel intérêt pour la recherche en dehors du TAL ? Pour la création ?
• Sur le plan pratique, comment peut-on y faire face et/ou les intégrer dans nos recherches, vu la puissance de calcul nécessaire à leur entraînement ? Est-on devenu dépendant des grands acteurs privés du domaine ?
• Quels sont les limites de ces modèles et leurs dangers potentiels ?

Nous n’aurons sans doute pas toutes les réponses à ces questions le 11 janvier, mais ce séminaire sera au moins l’occasion d’une réflexion sur ces modèles, avec des acteurs variés, aussi bien privés que publics.

Quoi ? séminaire / demi-journée d’étude
Où ? Ecole normale supérieure, salle des résistants, RDC, 45 rue d’Ulm 75005 Paris
Quand ? Le mercredi 11 janvier, de 14h à 17h30
Inscription : entrée libre, mais merci d’indiquer votre nom ici
(une transmission à distance sera normalement assurée ; le lien sera transmis aux participants ayant indiqué leur adresse mail dans le fichier d’inscription ci-dessus)

Programme

(les présentations seront en anglais)

14h-14h45 : Thea Sommeesheild (U. Ca Foscari, Venise) : les grands modèles de langage pour la recherche, exposé suite à son expérience dans le cadre du projet Ithaca (Thea Sommershield fera par ailleurs un exposé plus directement consacré au projet Ithaca la veille dans le cadre du séminaire DHAI)

14h45-15h30 : Tm Van De Cruys (KU. Leuven, Belgique) : utilisation de modèles de langage pour la génération de poésie, modèles de langage et création

15h30-16h15 : Laurent Daudet et Olga Lopusanschi : (LightOn, Paris) « I need my own ! Developing private Large Language Models », sur le développement de modèles de langage au sein d’une start up comme LightOn.

16h30-17h30 : Table ronde sur la situation actuelle, la recherche et l’avenir autour de ces modèles. Discussion avec les intervenants, ainsi qu’avec Anne Bouverot (Fondation Abeona)

17h30 : Thierry Poibeau : clôture