Les LLMs sont-ils de bons lecteurs ? Des agents conversationnels collaboratifs pour lʼinterprétation de polars
Julien Schuh  1, 2@  , Adam Faci  3@  
1 : Centre des Sciences des Littératures en Langue Française
Université Paris Nanterre : EA1586
2 : Maison des Sciences de l'Homme Mondes
CNRS
3 : Centre National de la Recherche Scientifique
Centre National de la Recherche Scientifique - CNRS

Résumé

Cette communication explore l'utilisation des LLM génératifs et des systèmes multi-agents pour interpréter des textes littéraires, en se concentrant sur un corpus de romans policiers réunis dans le cadre du projet ANR POLARisation. Plutôt que de se limiter aux approches quantitatives classiques, l'étude propose une méthodologie expérimentale où des agents IA, capables de communiquer entre eux et d'apprendre au fil de leurs lectures, recréent et simulent les mécanismes de réception des lecteurs modèles. Nous visons à utiliser conjointement plusieurs agents LLMs, génératifs ou non, disposant dʼune mémoire sous forme dʼune base de donnée externe, et ayant chacun une sous-tâche associée qui se base sur les précédents résultats pour servir leur ultime but commun: interpréter un roman et lʼinscrire dans une typologie. Ce protocole vise à interroger la créativité interprétative des machines, avec des implications pour la recherche littéraire, la théorie de la réception et la réactualisation de corpus anciens.

 Proposition

Avec le récent développement des modèles génératifs, lʼutilisation de lʼIA en études littéraires se popularise. De nouvelles manières dʼétudier les textes sont alors possibles, qui sʼinscrivent dans lʼadoption de deux principales stratégies. Ces deux stratégies peuvent se formuler comme une question: les automates doivent-ils servir à nous remplacer pour les tâches les plus pénibles et redondantes, ou bien ont-ils le droit de rêver ? Concrètement, doit-on utiliser les nouvelles IA, les grand modèles de langues et autres algorithmes performants, pour automatiser et accélérer des processus longs et chronophage que nous menons à bien par dʼautres moyens, ou doit-on employer ces nouveaux outils pour imaginer de nouveaux usages, de nouveaux processus ? 

Notre travail de recherche découle de ces réflexions, et nous voulons par ce travail faire un pas de côté vis à vis de toutes les approches quantitatives qui dominent dans les études littéraires, et plus généralement dans les humanités numériques, et qui visent à automatiser lʼannotation et lʼanalyse de documents autrement effectués à la main. Nous cherchons plutôt à privilégier le ludique et lʼétonnant en se posant la question suivante: comment des agents alimentés par les capacités des nouveaux outils dʼIA, et pouvant communiquer entre eux, peuvent suivre divers programmes de lecture et produire des interprétations complexes ? On testera cette hypothèse sur un corpus de romans policiers, en tentant de recréer une partie des mécanismes de réception d'un lecteur modèle de polars (Eco 1989). 

Cette expérimentation s'inscrit dans le cadre du projet ANR POLARisation (https://polarisation.hypotheses.org/), qui a permis la collecte d'un corpus de 3015 romans policiers, issus de huit collections, publiés entre 1945 et 1989. Un tel corpus pose des défis interprétatifs pour les chercheurs en littérature. Par sa masse, en premier lieu: il est matériellement impossible à un seul chercheur, voire à une équipe, de lire l'intégralité de ces romans et surtout d'en tirer des informations à grande échelle. La complexité des annotations possibles, la multiplicité des cadres d'interprétation pouvant être mobilisés rendent difficiles l'extraction de grandes tendances stylistiques, d'évolution des schémas narratifs, de transformation des pratiques d'écriture dans la granularité fine du texte. On se contente le plus souvent de sélectionner des romans ou des auteurs représentatifs, de pratiquer des lectures transversales, de faire confiance à des synthèses partielles et des analyses antérieures, ce qui conduit à des points aveugles dans la connaissance de tels corpus. Les stratégies textométriques ou liées au TAL apportent des éclairages statistiques qui peuvent être pertinents et qui contribuent à revoir nos catégorisations et à corriger certaines affirmations de l'histoire littéraire (Underwood 2019, Bode 2014, Moretti 2017, Piper 2018, Alexandre et Roe 2022), mais qui apportent peu au niveau qualitatif: le repérage des thématiques et choix stylistiques partagés par 20 000 ouvrages dans la liste des meilleures ventes du New York Times ne dit pas grand chose de la manière dont ces livres sont lus (Archer et Jockers 2016). Certaines généralisations sont par ailleurs difficiles à produire à partir de tels outils: comment repérer des motifs et des tropes, des structures narratives similaires, de l'implicite à grande échelle? 

Pour répondre à ces défis, nous proposons une approche fondée sur la simulation d'une multitude de programmes de lecture et leur application à ce corpus de romans, grâce à diverses chaînes de traitement basées sur les techniques de RAG (Lewis et al. 2020) et les LLMs. Il s'agit d'utiliser ces méthodes pour construire des agents capables de poser des hypothèses de lecture et de les affiner au fur et à mesure de leur expérience du texte, à travers la construction de modèles du texte reposant sur la reconfiguration des informations que ces romans apportent. Ces agents pourraient ainsi investir les programmes de lecture de diverses communautés (fans, critiques, spécialistes d'un genre, universitaires), selon l'hypothèse que ce sont ces programmes qui servent de cadres cognitifs à l'interprétation, et qui produisent les textes réellement lus (Fish 2021). Chaque agent ainsi modélisé est construit à partir d'un LLM, génératif ou non, ou bien d'un ensemble de règles de déduction. Il dispose dʼune mémoire sous forme dʼune base de donnée qui est mise à jour au fil de ses lectures et de ses échanges avec les autres agents, assurant ainsi leur évolutivité. Nous composerons avec différentes techniques dʼanalyse de texte, que ce soit la détection dʼentité nommées et leurs cooccurrences, ou lʼannotation dʼinformations morpho-syntaxiques dʼune part; ou bien la détection par des LLMs de lʼémotion dʼun passage ou sa correspondance à un cliché/trope dʼautre part. Ces agents interprètent à des niveaux de granularité différents (mots, phrases, paragraphes), en se limitant à certains types dʼinformations (les personnages, les actions, les lieux et leur description), et en posant des objectifs variés (détecter les obstacles du héros, repérer des motifs ordonnés pour déceler des liens causaux, détecter des tropes), produisant des représentations des textes plurielles. 

Nous visons dans un second temps à expérimenter diverses contraintes sur la collaboration des agents en créant plusieurs communautés dʼagents lecteurs ayant chacun leurs propres modes dʼéchange dʼinformation. La communication des agents et leur association permet en effet toutes sortes de compositions en fonction des spécificités de chaque agent, en fonction du partage de la même fonction objectif, de l'extraction des mêmes informations de la façon similaire ou non ou encore de l'imposition de limites à la quantité dʼinformation quʼils peuvent échanger. Pour ce dernier point, nous pouvons par exemple limiter la quantité de connaissances ou même cloisonner les communications et offrir un nombre limité dʼéchanges entre agents. 

Les enjeux de ces expérimentations, qui peuvent sembler relever du divertissement, sont en réalités multiples. Le développement de tels protocoles d'interprétation artificielle peuvent permettre de mieux connaître des corpus anciens, d'opérer des comparaisons à grande échelle, de tester des hypothèses interprétatives fines sur des corpus massifs, et non plus sur un canon réduit. La modélisation des mécanismes interprétatifs et leur opérationnalisation (Moretti 2017) donnent également l'occasion de tester les théories de la réception (Iser 1985, Eco 1989, Charles 1995), et de comprendre quels genres de textes sont produits en fonction des modèles de lecture mobilisés par les lecteurs. En considérant l'activité interprétative comme une pratique créative et productrice, ces expérimentations permettent enfin la réactualisation de formes anciennes dans nos sociétés: les agents d'IA peuvent apparaître comme de nouveaux lecteurs susceptibles de partager leurs interprétations et de contribuer à nos pratiques culturelles, conçues comme des processus collectifs de réappropriation des formes.

Références
  • Alexandre Didier et Roe Glenn H. (dir.), Observer la vie littéraire: études littéraires et numériques, Paris, Classiques Garnier, 2022.

  • Archer Jodie et Jockers Matthew L., The Bestseller Code: Anatomy of the Blockbuster Novel, St. Martin's Publishing Group, 2016.

  • Bode Katherine, Reading by Numbers: Recalibrating the Literary Field, Anthem Press, 2014.

  • Charles Michel, Introduction à l'étude des textes, Paris, Éditions du Seuil, 1995.

  • Eco Umberto, Lector in fabula: le rôle du lecteur ou la coopération interprétative dans les textes narratifs, traduit par Myriem Bouzaher, Paris, Librairie générale française, 1989.

  • Fish Stanley, Quand lire c'est faire: l'autorité des communautés interprétatives, Paris, les Prairies ordinaires, 2021.

  • Iser Wolfgang, L'acte de lecture: théorie de l'effet esthétique, traduit par Evelyne Sznycer, Sprimont, Belgique, Pierre Mardaga éditeur, 1985.

  • Lewis, Patrick, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler et al. "Retrieval-augmented generation for knowledge-intensive nlp tasks." Advances in Neural Information Processing Systems 33 (2020): 9459-9474.

  • Moretti Franco (dir.), Canon/Archive: Studies in Quantitative Formalism, New York, n+1 Foundation, 2017.

  • Paige Nicholas D., Technologies of the Novel: Quantitative Data and the Evolution of Literary Systems, New York, Cambridge University Press, 2020.

  • Piper Andrew, Enumerations: Data and Literary Study, University of Chicago Press, 2018.

  • Rackauckas Zackary, « RAG-Fusion: a New Take on Retrieval-Augmented Generation », International Journal on Natural Language Computing, 28 février 2024, vol. 13, no 1, p. 37‑47.

  • Shinn Noah, Cassano Federico, Berman Edward, Gopinath Ashwin, Narasimhan Karthik et Yao Shunyu, « Reflexion: Language Agents with Verbal Reinforcement Learning ».

  • Underwood Ted, Distant Horizons: Digital Evidence and Literary Change, First edition., Chicago, University of Chicago Press, 2019.



  • Poster
Personnes connectées : 1 Vie privée
Chargement...