Les grands modèles de langages sont au cœur d'une réflexion globale et plurielle portant sur la meilleure façon de mobiliser leurs capacités, tout en tenant compte de leurs limites. Notamment, leur capacité à générer des textes cohérents, intelligibles et généralement crédibles constitue actuellement l'état de l'art (OpenAI, 2023) et présente un fort intérêt en augmentation générative de données (Whitehouse et al., 2023). Dans le cadre d'un projet du laboratoire de l'Observatoire des Textes, des Idées et des Corpus de Sorbonne Université qui entend créer un modèle pour l'annotation d'entités nommées dans les romans français, nous avons cherché à exploiter le modèle de langage Llama 3. En lui donnant dans un premier temps le rôle d'évaluateur des annotations, nous avons cherché à identifier les points forts et les points faibles d'une telle démarche dans la tâche précise de reconnaissance d'entités nommées, et la façon dont mobiliser au mieux cet outil.