Repérage de motifs hors dictionnaire au sein d’ornements composés grâce à un Détecteur-AutoEncodeur

voir la version anglaise de cet article

Un réseau de neurones [Khan M. S., Emonet R. et Fournel T., 2021] a été développé dans le cadre de l’étude des pratiques du libraire Marc-Michel Rey [Bahier-Porte et Vial-Bonacci, 2019] pour venir en aide au repérage de motifs non répertoriées au sein d’un ornement composé. Seules les vignettes utilisées par M.-M. Rey recensées dans un dictionnaire qui constitue les données d’apprentissage des paramètres du réseau sont, après détection, correctement reconstruites (Fig. 1) par l’architecture mise au point.

Figure 1. A gauche : une image composée de vignettes aléatoirement distribuées sans chevauchement. Les boîtes englobantes des vignettes détectées figurent en rouge. Les boîtes englobantes des vignettes hors dictionnaire (vérité terrain) sont indiquées en bleu. A droite :  image reconstruite à partir des détections dans l’image composée de gauche.

Le détecteur placé en amont du décodeur est destiné à reconnaître avec une certaine probabilité toute vignette du dictionnaire rentrant dans la composition de l’ornement soumis à l’analyse. Tout motif détecté l’est au sein d’une boîte englobante. Il n’est reconstruit qu’au-delà d’un certain seuil prédéfini de probabilité. Sa reconstruction qui est faite à l’aide des caractéristiques apprises de la vignette a priori détectée, sera d’autant plus fidèle que le motif en question correspond effectivement à la vignette détectée.

Le détecteur implanté est un Single Shot Multibox Detector [Liu et al 2016] auquel ont été ajoutées des couches d’alignement des boîtes englobantes prédites [He et al 2017] et de transformation des cartes de caractéristiques en vecteurs descripteurs de dimensions 1 × 1 × 1024. Ces derniers sont transmis aux trois couches linéaires complètement connectées du décodeur avant d’être redimensionnés en imagettes 128×128. Le détecteur-autoencodeur (DAE) ainsi constitué (https://gitlab.huma-num.fr/ANR-ROIi) a été entraîné puis évalué, cela après avoir fait l’apprentissage du détecteur-encodeur au moyen de la distance Intersection-sur-Union [Zheng et al 2020].

L’évaluation du modèle DAE a été réalisée sur des images synthétisées, composées à partir d’un ensemble de 199 vignettes réelles (chacune numérisée en 4 exemplaires binarisés issus d’impressions différentes), 185 d’entre elles constituant arbitrairement le dictionnaire utilisé pour la synthèse des images d’apprentissage.  Chacune des images synthétisées est composée de vignettes sélectionnées au hasard (11 en moyenne, dont 2 hors dictionnaire pour les images de test), dispersées aléatoirement sans chevauchement dans une matrice de 640×640 pixels (https://documentation.huma-num.fr/nakala/). La reconstruction par le modèle (rendue quasi-systématique par abaissement du seuil de probabilité) s’avère singulièrement dégradée (corrélation proche de zéro) lorsque le motif (la vignette) détecté(e) ne correspond pas à une vignette du dictionnaire (Fig. 2). Le modèle DAE reste à comparer avec l’état de l’art. 

Figure 2. Histogrammes de l’inter-corrélation normalisée entre un motif détecté et sa version reconstruite : en bleu lorsque le motif est une vignette du dictionnaire, en rouge lorsque le motif est hors dictionnaire.

Rémi Emonet, Mohammad Sadil Khan, and Thierry Fournel

LHC-Laboratoire Hubert Curien-Saint-Etienne

References

Khan M. S., Emonet R. et Fournel T., Vignette detection and reconstruction of composed ornaments with a strengthened autoencoder, https://hal.archives-ouvertes.fr/hal-03409930, 2021

Bahier-Porte C. et Vial-Bonacci F, Le commerce de la librairie à la lumière de la correspondance – Marc Michel Rey, Pierre Rousseau, Charles Weissenbruch, Journal encyclopédique aux humanités numériques. Trois siècles d’histoire du livre et de la pensée à travers le Fonds Weissenbruch, Bruxelles, Archives générales du Royaume, p. 205-222, 2019

Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., Berg, A. C., SSD: Single-Shot Multibox detector, in European conference on computer vision. Springer, Cham, p. 21-37, 2016

He, K., Gkioxari, G., Doll´ar, P., Girshick, R., Mask R-CNN, in Proceedings of the IEEE international conference on computer vision. p. 2961-2969, 2017

Zheng, Z., Wang, P., Liu, W., Li, J., Ye, R., Ren, D., Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression, in Proceedings of the AAAI Conference on Artificial Intelligence, p. 12993-13000, 2020


Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search