Mieux utiliser BERT pour la détection d'évènements à partir de peu d'exemples - Conférences TALN RECITAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Mieux utiliser BERT pour la détection d'évènements à partir de peu d'exemples

Résumé

Les méthodes actuelles pour la détection d’évènements, qui s’appuient essentiellement sur l’apprentissage supervisé profond, s’avèrent très coûteuses en données annotées. Parmi les approches pour l’apprentissage à partir de peu de données, nous exploitons dans cet article le méta-apprentissage et l’utilisation de l’encodeur BERT pour cette tâche. Plus particulièrement, nous explorons plusieurs stratégies pour mieux exploiter les informations présentes dans les différentes couches d’un modèle BERT pré-entraîné et montrons que ces stratégies simples permettent de dépasser les résultats de l’état de l’art pour cette tâche en anglais.
Fichier principal
Vignette du fichier
3792.pdf (1.21 Mo) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03701491 , version 1 (24-06-2022)

Identifiants

  • HAL Id : hal-03701491 , version 1

Citer

Aboubacar Tuo, Romaric Besançon, Olivier Ferret, Julien Tourille. Mieux utiliser BERT pour la détection d'évènements à partir de peu d'exemples. Traitement Automatique des Langues Naturelles, 2022, Avignon, France. pp.392-402. ⟨hal-03701491⟩
57 Consultations
59 Téléchargements

Partager

Gmail Facebook X LinkedIn More