Évaluation des Grands Modèles de Langage pour la Reconnaissance d'Entités Nommées
Hédi Zeghidi  1@  , Ludovic Moncla  2@  
1 : Laboratoire d'InfoRmatique en Image et Systèmes d'information
CNRS
2 : Laboratoire d'InfoRmatique en Image et Systèmes d'information  (LIRIS)
Institut National des Sciences Appliquées (INSA) - Lyon
Bâtiment Blaise Pascal - 20, avenue Albert Einstein - 69621 Villeurbanne cedex -  France

Cet article présente une expérimentation des grands modèles de langage (LLMs) pour la reconnaissance d'entités nommées (NER). Les systèmes NER traditionnels reposent principalement sur des méthodes supervisées et sur des grands ensembles de données annotées, qui sont coûteux et longs à obtenir. Dans cette étude, nous nous sommes intéressé à évaluer la capacité des LLMs pour la tâche de NER en faisant appel au Few-Shot Prompting, ou apprentissage contextuel, qui permet aux modèles de répondre à une requête avec un minimum d'exemples. Les modèles GPTs d'OpenAI ont été évalué et comparé ainsi que certains modèles open source. Les résultats montrent que, bien qu'il y ait un écart de performance avec des modèles supervisés, les grands modèles excellent dans l'adaptation à de nouveaux types d'entités et de domaines avec des données très limitées. Nous explorons également les effets du format de sortie imposé pour les tâches de classification de tokens ou de segments (ou spans).
Cette étude souligne le potentiel du few-shot learning (ou prompting) à réduire le besoin de grands ensembles de données annotées, améliorant ainsi l'évolutivité et l'accessibilité du NER et met également en lumière les difficultés pour les modèles génératifs à réaliser ce type de tâche.



  • Poster
Personnes connectées : 3 Vie privée
Chargement...