Information extraction in historical documents using large multimodal models
Extractiοn d'infοrmatiοn dans des dοcuments histοriques à l'aide de grands mοdèles multimοdaux
Résumé
This thesis focuses on automatic information extraction from historical handwritten documents, within the framework of the POPP and EXO-POPP projects. The POPP project focuses on handwritten census tables from Paris (1921-1946), while EXO-POPP deals with marriage records from the Seine department (1880-1940). The main objective is to develop an end-to-end architecture for information extraction from complete documents, avoiding explicit segmentation steps.Initially, a sequential processing pipeline was developed for the POPP project, enabling the automatic extraction of information for 9 million individuals across 300,000 pages. Then, an end-to-end architecture for information extraction was implemented for EXO-POPP, based on a convolutional encoder and a Transformer decoder, with the insertion of special symbols encoding the information to be extracted.Subsequently, the integration of large language models based on the Transformer architecture led to the creation of the DANIEL model, which achieved a new state-of-the-art on several public datasets (RIMES 2009 and M-POPP for handwriting recognition, IAM NER for information extraction), while offering faster inference compared to existing approaches. Finally, two public datasets from the POPP and EXO-POPP projects were made available, along with the code and weights of the DANIEL model.
Cette thèse porte sur l'extraction automatique d'informations à partir de documents manuscrits historiques, dans le cadre des projets POPP et EXO-POPP. Le projet POPP se concentre sur les tableaux de recensement manuscrits de Paris (1921-1946), tandis qu'EXO-POPP traite des actes de mariage du département de la Seine (1880-1940). L’objectif principal est de développer une architecture de bout en bout pour l’extraction d’information à partir de documents complets, évitant les étapes explicites de segmentation.Dans un premier temps, une chaîne de traitement séquentielle a été développée pour le projet POPP, permettant l’extraction automatique des informations de 9 millions d’individus sur 300 000 pages. Ensuite, une architecture de bout en bout pour l'extraction d'information a été mise en place pour EXO-POPP, s’appuyant sur un encodeur convolutif et un décodeur Transformer, avec insertion de symboles spéciaux encodant les informations à extraire.Par la suite, l’intégration de grands modèles de langue basés sur l’architecture Transformer a conduit à la création du modèle DANIEL, qui a atteint un nouvel état de l’art sur plusieurs jeux de données publics (RIMES 2009 et M-POPP pour la reconnaissance d'écriture, IAM NER pour l'extraction d'information) tout en présentant une vitesse d'inférence supérieure aux approches existantes. Enfin, deux jeux de données publics issus des projets POPP et EXO-POPP ont été mis à disposition, ainsi que le code et les poids du modèle DANIEL.
Domaines
Informatique et langage [cs.CL]Origine | Version validée par le jury (STAR) |
---|