Pistes pour l'optimisation de modèles de parsing syntaxique - Centre de Recherche Inter-Langues sur la Signification en C0ntexte
Poster De Conférence Année : 2024

Pistes pour l'optimisation de modèles de parsing syntaxique

Résumé

Avec l'avènement de technologies d'apprentissage profond, toute analyse syntaxique automatique d'un corpus textuel présuppose l'utilisation de "systèmes d'annotation" (Renwick & Kraif 2024) :
1) un analyseur syntaxique automatique,
2) un gros modèle de langue, ou LLM (issu d'un apprentissage non-supervisé), et
3) un corpus d'entraînement pour l'entraînement supervisé qui permet l'acquisition du schéma d'annotation (en l'occurrence, parsing et tagging dans le système Universal Dependencies (UD), de Marneffe et al., 2021) et des traits linguistiques spécifiques.

La distance en ce qui concerne la variété linguistique (dont les variétés diachronique et diatopique) ainsi que celle de genre ou de registre a un impact sur la performance. L'attention portée à la qualité du corpus d'entraînement pour l'apprentissage supervisé, néanmoins, peut être étendue aux autres étapes du processus d'annotation agile afin d'optimiser l'injection des caractéristiques du corpus cible dans le système de parsing. Nous avançons deux hypothèses :
1) que l'introduction d'une étape supplémentaire avant l'acquisition du schéma d'annotation peut apporter un gain de performance et
2) que la qualité et échantillonnage des "sous-corpus de finetuning" (post-apprentissage du schéma d'annotation) peut augmenter les performances du système d'annotation lors d'entraînements progressifs.
Fichier principal
Vignette du fichier
poster_ziane_romanova_LIFT24.pdf (1.47 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04811291 , version 1 (29-11-2024)

Identifiants

  • HAL Id : hal-04811291 , version 1

Citer

Rayan Ziane, Natasha Romanova. Pistes pour l'optimisation de modèles de parsing syntaxique. LIFT 2 - 2024 : Journées de lancement, Nov 2024, Orléans, France. . ⟨hal-04811291⟩
0 Consultations
0 Téléchargements

Partager

More