Préservation Numérique du Patrimoine Culturel : Enrichissement et Reconstruction basés sur les CNNs Multimodaux Hiérarchiques et la Complétion d’Images

Doctorant : 
Directeur(s) : 
Responsable externe : 

S. Foufou

Date de début : 
février 2017
Date de soutenance : 
Mercredi 15 juillet 2020
Institution locale : 

La préservation physique à long terme du patrimoine culturel reste fragile et peut induire de multiples risques liés à la destruction et aux dommages accidentels. La numérisation complète des biens culturels (visuellement et historiquement) n'est facile que lorsqu'il s'agit de biens physiquement en bon état possédant toutes leurs données (entièrement annotés). Dans le monde réel, de nombreux objets culturels souffrent de dégradation physique et de perte d'informations. Habituellement, pour annoter et conserver ces objets, les institutions culturelles font appel à des spécialistes de l'art, à des historiens et à d'autres institutions. Ce processus est fastidieux, nécessite énormément de temps et de ressources financières et peut souvent s’avérer inexact.

Notre travail se concentre sur la préservation effective et rentable du patrimoine culturel, basée sur des méthodes avancées d'apprentissage automatique. L'objectif est de fournir un cadre technique à la phase d'enrichissement du processus de préservation numérique du patrimoine culturel. A travers cette thèse, nous proposons de nouvelles méthodes permettant d’améliorer le processus de préservation des objets culturels. Nos défis sont principalement liés au processus d'annotation et d'enrichissement des objets souffrant généralement du problème de données manquantes et incomplètes (annotations et données visuelles) qui est souvent inefficace lorsqu’il est effectué manuellement. Nous introduisons pour cela, des approches basées sur l'apprentissage automatique et l'apprentissage profond pour relever ces défis. Ces approches consistent à compléter automatiquement les données culturelles manquantes. Nous nous concentrons principalement sur deux types essentiels de données manquantes : les données textuelles (métadonnées) et les données visuelles.

La première étape est principalement liée à l'annotation et à l'étiquetage des objets culturels à l'aide de l'apprentissage profond. Nous avons proposé des approches tirant parti des caractéristiques visuelles et textuelles disponibles des objets culturels pour effectuer une classification efficace des objets. (1) Une première approche est dédiée à la Classification Multimodale des objets culturels où un quelconque objet peut être représenté, lors de la classification, avec un sous-ensemble de métadonnées disponibles en plus de sa capture visuelle. (2) la seconde approche est proposée pour la Classification Hiérarchique des objets afin de mieux répondre aux exigences de métadonnées de chaque type d’objets et augmenter les performances de classification. La deuxième étape considère le manque d'informations visuelles constaté pour certains objets culturels incomplets et endommagés. Nous avons proposé dans ce cas, une approche basée sur l'apprentissage profond à travers des modèles génératifs et le clustering d’images pour effectuer la reconstruction visuelle d’objets culturels. Pour nos expérimentations, nous avons collecté une grande base de données culturelles. Nous avons sélectionné les tableaux d’arts pour nos tests et validations car ils étaient les meilleurs en termes de qualité d’annotations.

Mots clés :  Préservation d’Objets Culturels, Apprentissage Profond, Classification Multimodale, Complétion d’Images.