Ateliers ROIi: 15 et 16 juin 2022, Université Jean Monnet, Saint-Etienne

L’équipe de l’ANR ROIi organise deux journées d’échanges visant à répondre aux problématiques posées par la construction d’une base de données intégrant une fonctionnalité d’identification d’anomalies au sein d’ornements anciens en vue de l’authentification d’un ouvrage.

Programme provisoire :

Inscription gratuite mais obligatoire : formulaire d’inscription.

Repérage de motifs hors dictionnaire au sein d’ornements composés grâce à un Détecteur-AutoEncodeur

voir la version anglaise de cet article

Un réseau de neurones [Khan M. S., Emonet R. et Fournel T., 2021] a été développé dans le cadre de l’étude des pratiques du libraire Marc-Michel Rey [Bahier-Porte et Vial-Bonacci, 2019] pour venir en aide au repérage de motifs non répertoriées au sein d’un ornement composé. Seules les vignettes utilisées par M.-M. Rey recensées dans un dictionnaire qui constitue les données d’apprentissage des paramètres du réseau sont, après détection, correctement reconstruites (Fig. 1) par l’architecture mise au point.

Figure 1. A gauche : une image composée de vignettes aléatoirement distribuées sans chevauchement. Les boîtes englobantes des vignettes détectées figurent en rouge. Les boîtes englobantes des vignettes hors dictionnaire (vérité terrain) sont indiquées en bleu. A droite :  image reconstruite à partir des détections dans l’image composée de gauche.

Le détecteur placé en amont du décodeur est destiné à reconnaître avec une certaine probabilité toute vignette du dictionnaire rentrant dans la composition de l’ornement soumis à l’analyse. Tout motif détecté l’est au sein d’une boîte englobante. Il n’est reconstruit qu’au-delà d’un certain seuil prédéfini de probabilité. Sa reconstruction qui est faite à l’aide des caractéristiques apprises de la vignette a priori détectée, sera d’autant plus fidèle que le motif en question correspond effectivement à la vignette détectée.

Le détecteur implanté est un Single Shot Multibox Detector [Liu et al 2016] auquel ont été ajoutées des couches d’alignement des boîtes englobantes prédites [He et al 2017] et de transformation des cartes de caractéristiques en vecteurs descripteurs de dimensions 1 × 1 × 1024. Ces derniers sont transmis aux trois couches linéaires complètement connectées du décodeur avant d’être redimensionnés en imagettes 128×128. Le détecteur-autoencodeur (DAE) ainsi constitué (https://gitlab.huma-num.fr/ANR-ROIi) a été entraîné puis évalué, cela après avoir fait l’apprentissage du détecteur-encodeur au moyen de la distance Intersection-sur-Union [Zheng et al 2020].

L’évaluation du modèle DAE a été réalisée sur des images synthétisées, composées à partir d’un ensemble de 199 vignettes réelles (chacune numérisée en 4 exemplaires binarisés issus d’impressions différentes), 185 d’entre elles constituant arbitrairement le dictionnaire utilisé pour la synthèse des images d’apprentissage.  Chacune des images synthétisées est composée de vignettes sélectionnées au hasard (11 en moyenne, dont 2 hors dictionnaire pour les images de test), dispersées aléatoirement sans chevauchement dans une matrice de 640×640 pixels (https://documentation.huma-num.fr/nakala/). La reconstruction par le modèle (rendue quasi-systématique par abaissement du seuil de probabilité) s’avère singulièrement dégradée (corrélation proche de zéro) lorsque le motif (la vignette) détecté(e) ne correspond pas à une vignette du dictionnaire (Fig. 2). Le modèle DAE reste à comparer avec l’état de l’art. 

Figure 2. Histogrammes de l’inter-corrélation normalisée entre un motif détecté et sa version reconstruite : en bleu lorsque le motif est une vignette du dictionnaire, en rouge lorsque le motif est hors dictionnaire.

Rémi Emonet, Mohammad Sadil Khan, and Thierry Fournel

LHC-Laboratoire Hubert Curien-Saint-Etienne

References

Khan M. S., Emonet R. et Fournel T., Vignette detection and reconstruction of composed ornaments with a strengthened autoencoder, https://hal.archives-ouvertes.fr/hal-03409930, 2021

Bahier-Porte C. et Vial-Bonacci F, Le commerce de la librairie à la lumière de la correspondance – Marc Michel Rey, Pierre Rousseau, Charles Weissenbruch, Journal encyclopédique aux humanités numériques. Trois siècles d’histoire du livre et de la pensée à travers le Fonds Weissenbruch, Bruxelles, Archives générales du Royaume, p. 205-222, 2019

Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., Berg, A. C., SSD: Single-Shot Multibox detector, in European conference on computer vision. Springer, Cham, p. 21-37, 2016

He, K., Gkioxari, G., Doll´ar, P., Girshick, R., Mask R-CNN, in Proceedings of the IEEE international conference on computer vision. p. 2961-2969, 2017

Zheng, Z., Wang, P., Liu, W., Li, J., Ye, R., Ren, D., Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression, in Proceedings of the AAAI Conference on Artificial Intelligence, p. 12993-13000, 2020

Detector-encoder AutoEncoder for decomposition into M.-M. Rey’s vignettes

see a french version

A machine learning model has been developed for the analysis of composed ornaments [Khan M. S., Emonet R. et Fournel T., 2021] in order to help the human experts during the process of assignment to the publisher, Marc-Michel Rey [Bahier-Porte et Vial-Bonacci, 2019].  The model is designed for vignette pattern detection with bounding box and probability assignment,then reconstruction from features when the assigned probability is greater than a predefined threshold value. Such a decomposition into vignettes can be achieved after learning the parameters of the model from a dictionary of vignettes used by M.-M. Rey.  Out-of-dictionary or suspicious vignettes are so missing or badly reproduced in the reconstructed image (Fig. 1).

Figure 1. (Left) An input image composed with vignettes randomly distributed, with the detected bounding boxes in red, out-of-dictionary vignettes (ground truth) being indicated by bounding boxes in blue. (Right) The reconstructed image.

The architecture of the model is an object detector placed upstream of a decoder to strengthen both detection and copy-and-past of vignettes in the dictionary. More precisely, a Single Shot Multibox Detector [Liu et al 2016] is used to predict boxes bounding predicted vignettes in the dictionary. In the detection part, some layers are added to align the predicted bounding boxes [He et al 2017] and transform the feature maps into 1 × 1 × 1024 feature vectors. In the decoding part, the feature vectors are fed into three fully connected linear layers then reshaped into 128×128 reconstructed vignettes. The Detector-Encoder was first trained separately by using Distance IoU [Zheng et al 2020], then the stacked neural network named DAE as Detector-AutoEncoder (https://gitlab.huma-num.fr/ANR-ROIi). 

DAE was tested on a dataset of images synthetized from real vignettes randomly selected in two arbitrary classes, normals and abnormals, and placed in the image area without any typographical composition to properly challenge the model (https://documentation.huma-num.fr/nakala/).  Normalized cross-correlation index between an original vignette and the reconstructed one shows a clear separation between normal and abnormal populations (Fig. 2). DAE has now to be compared with the state-of-the-art algorithms.

Figure 2. Histograms of the normalized cross-correlation index between an original vignette and the reconstructed one for abnormal and normal vignettes.

Rémi Emonet, Mohammad Sadil Khan, and Thierry Fournel

LHC-Laboratoire Hubert Curien-Saint-Etienne

References

Khan M. S., Emonet R. et Fournel T., Vignette detection and reconstruction of composed ornaments with a strengthened autoencoder, https://hal.archives-ouvertes.fr/hal-03409930, 2021

Bahier-Porte C. et Vial-Bonacci F, Le commerce de la librairie à la lumière de la correspondance – Marc Michel Rey, Pierre Rousseau, Charles Weissenbruch, Journal encyclopédique aux humanités numériques. Trois siècles d’histoire du livre et de la pensée à travers le Fonds Weissenbruch, Bruxelles, Archives générales du Royaume, p. 205-222, 2019

Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., Berg, A. C., SSD: Single-Shot Multibox detector, in European conference on computer vision. Springer, Cham, p. 21-37, 2016

He, K., Gkioxari, G., Doll´ar, P., Girshick, R., Mask R-CNN, in Proceedings of the IEEE international conference on computer vision. p. 2961-2969, 2017

Zheng, Z., Wang, P., Liu, W., Li, J., Ye, R., Ren, D., Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression, in Proceedings of the AAAI Conference on Artificial Intelligence, p. 12993-13000, 2020

Projet ROIi : Rey’s Ornament Image investigation (2020-2024)

Le projet ROIi – Rey’s Ornament Image investigation, retenu par le CE 38 de l’ANR  (“La  révolution numérique : rapports au savoir et à la culture”), associe des chercheurs dans les domaines de l’histoire des idées, de la littérature et de l’histoire du livre (IHRIM-UMR 5317) et de la vision par ordinateur et de l’apprentissage automatique (Laboratoire Hubert Curien – UMR 5516). Les deux laboratoires se trouvent à l’Université Jean Monnet Saint-Étienne. Le projet est coordonné par Christelle Bahier-Porte avec Thierry Fournel pour le Laboratoire Hubert Curien.

L’objectif de ce projet interdisciplinaire est de concevoir une base de données d’ornements associée à un outil d’aide à l’authentification, couplant vision par ordinateur et apprentissage automatique des données, des livres publiés sous des noms ou adresses fictifs ou contrefaits au XVIIIsiècle, par l’analyse des ornements.

Les ornements à recenser sont issus des ouvrages édités par Marc Michel Rey (1720-1780), installé à Amsterdam à partir de 1746. Les pratiques éditoriales de ce libraire sont en effet particulièrement représentatives des difficultés d’attribution que posent les livres publiés dans un système réglementé du commerce du livre et de la censure.  Il publie des ouvrages sous le régime de l’anonymat ou sous fausses adresses pour échapper à la censure et favoriser leur diffusion.


Il pratique la contrefaçon et ses livres sont eux-mêmes contrefaits:

Avec l’examen du papier, des caractères typographiques, de la composition des cahiers et des modes de signature, l’analyse des ornements permet de décrire un ouvrage dans sa matérialité et constitue un indice supplémentaire, au sein d’un réseau d’indices concordants, d’identification ou d’authentification. Cette analyse peut s’effectuer à l’échelle d’un titre [Barber, 1981 ; Vercruysse, 1997 ; Droixhe, 1999] ou le plus souvent, pour attribuer des ouvrages à un imprimeur [Corsini, 1988 ; Wilkinson, 2013 ; McKenna et Mori, 2019].

Le corpus de Marc Michel Rey est en outre intéressant par la diversité des ornements utilisés :

Ornements bois qui caractérisent les débuts de l’imprimerie pour la période XVIe-début XVIIIe siècle. Ce sont des motifs d’une seule pièce, sculptés sur bois dont l’exemplaire est unique.

• Gravures uniques dont la plus célèbre est la « marque aux abeilles », marque d’éditeur de Rey.


Ornements composés, issus d’un assemblage de vignettes en métal, typiques du XVIIIe siècle.

Une base de données des ornements de Rey

Les premiers catalogues puis les premières bases de données d’ornements sont apparus à la fin des années 1990 [Corsini, 1999; [Soulatges, 2012]]. Le site Passe Partout créé à la fin des années 1990 par Silvio Corsini, directeur de la bibliothèque cantonale et universitaire de Lausanne, membre du projet ROIi se présente comme une « banque internationale d’ornements d’imprimerie ». Elle réunit deux bases de données d’ornements du XVIIIe siècle Fleuron (Lausanne, ornements d’imprimeurs suisses), Maguelone et donnait accès à Moriane. Le site propose une fonctionnalité de reconnaissance d’image par reconnaissance de formes (logiciel TODAI élaboré en 1996 à l’École Polytechnique de Lausanne) qui fut pionnière. La base de données la plus récente est la base Compositor (University of Birmingham) qui propose plus d’un million d’images d’ornements du XVIIIe siècle à laquelle sont associées des outils de reconnaissance d’image conçus par le Visual Geometry Group d’Oxford. La conceptrice de cette base, Hazel Wilkinson, est également associée au projet ROIi.

Ces bases de données d’ornements se sont heurtées à des verrous techniques concernant le mode de soumission des images, les méthodes de reconnaissance et d’indexation des données, le volume des données disponibles ou encore la fiabilité des résultats. Conscients de ces difficultés, nous pensons que le fait d’articuler le développement d’un outil d’aide à l’authentification à une base de données circonscrite aux pratiques d’un libraire précis permet de mener une expérimentation dans de bonnes conditions. En effet, les détections réalisées au sein des ornements par des algorithmes de vision par ordinateur et d’apprentissage automatique seront constamment confrontées à l’expertise humaine, permise par la connaissance du fonds, pour mieux s’en inspirer et parvenir à une performance interprétable, suffisante et fiable. Le fait de fonder le projet sur la pratique d’un libraire constitue une originalité du projet et un challenge scientifique alors que la majorité des bases existantes se fondent sur des imprimeurs. Notre hypothèse est que l’usage des ornements ne relève pas seulement d’une pratique d’imprimerie mais permet de définir un « profil » du libraire, très attentif à la qualité de ses ouvrages, et relève d’une politique éditoriale : dans quelle mesure l’ornement est-il un signe de reconnaissance, même dans un ouvrage sous fausse adresse, un indice de ce que nous appellerions avec anachronisme une « propriété intellectuelle » ? Seul un examen comparé le plus précis possible permettra de répondre à cette question.


L’élaboration de la base de données des ornements de Rey servira au déploiement de l’outil développé par le Laboratoire Hubert Curien. Une fois achevée, cette base permettra la consultation permanente et en libre accès de ces données, hébergées sur Nakala espace de stockage et d’archivage pérenne, rendues moissonnables et interopérables, via un serveur hébergé sur l’infrastructure de la TGIR Huma-Num. Les métadonnées seront alignées sur des notices d’autorité (IdRef) grâce au gestionnaire de thésaurus Opentheso. Ce dernier aura une fonction pivot associant les données du projet ROIi et celle de l’édition numérique des archives et de la correspondance de Rey.


Segmentation d’anomalies par apprentissage statistique

Le projet ROIi entend confirmer l’importance de l’analyse des ornements dans une démarche d’authentification, concernant ici l’édition. Il vise à montrer la pertinence d’une analyse automatique venant en support de l’expertise humaine, apte à délivrer des éléments visuels interprétables et tangibles : des anomalies inscrites dans des régions d’intérêt (Region Of Interest), à détecter. Cette segmentation va être assujettie à la nature de l’ornement présenté en requête face à la base d’ornements authentifiés. 

Dans le cas des ornements bois ou des gravures, chacun issu d’une matrice unique créée d’un seul bloc, la segmentation visera à révéler des anomalies morphologiques dans la reconstruction de l’image-requête, faite au moyen d’une représentation issue d’un apprentissage réalisé à partir de la base de données.  La segmentation résoudra ainsi une retranscription du jeu des erreurs en analysant la différence entre l’image-requête et l’image reconstruite à l’aide de caractéristiques authentiques et prenant en compte les défauts d’impression (liés à l’action de la presse ou son usure). La reconstruction pourra être effectuée localement via un codage parcimonieux au moyen d’un dictionnaire appris de patches [Weiss et al., 2013] ou globalement via un auto-encodeur entraîné [Baur et al., 2018].

Dans le cas des ornements composés, les vignettes de l’assemblage originel sont reproductibles et représentent chacune un motif choisi par l’éditeur dans le catalogue de son fournisseur : il s’agira de repérer des motifs suspects susceptibles de constituer des anomalies typographiques. Une structure de motifs hors profil (pouvant correspondre à un faux ou à une évolution de style) pourra être localisée par reconnaissance \ suppression de structures récurrentes, véritables traits du style de composition obtenus par extraction automatique préalable de la base de données [Bascol et al., 2016] (à l’aide d’une architecture d’auto-encodeur non symétrique). La présence dans l’ornement d’une vignette ne figurant pas dans le catalogue (un faux) ou inhabituelle (mise à jour d’un dictionnaire – à construire – des vignettes utilisées par l’éditeur) pourra être identifiée dans l’ornement-requête après décomposition élémentaire en vignettes. Connaissant le profil de l’éditeur et les vignettes constitutives de l’ornement composé, une recomposition automatique destinée à mimer une composition originale sera appréhendée [Makhzani et al., 2015 ; Lample et al., 2017], réduisant ainsi le problème au jeu des erreurs (entre l’ornement-requête et l’ornement recomposé).  

Perspectives

La base issue du projet, exposant les résultats, sera diffusée en open access sur un site hébergé par Huma-Num adossé à l’édition numérique des archives de Marc Michel Rey (déjà hébergée par Huma-Num). Elle sera associée à un démonstrateur, permettant les requêtes, la recherche d’images similaires dans la base de données et la détection / visualisation de régions d’intérêts présentant ou susceptibles de présenter des anomalies dans une image-requête.

La segmentation d’anomalies est une problématique récente de la vision par ordinateur. Le contexte de l’authentification des ornements est propice à la formulation d’algorithmes originaux dans le domaine de l’apprentissage statistique et de l’analyse d’image notamment par auto-encodage. Par ailleurs, la contrainte d’une quantité de données relativement faible s’ajoute au défi d’appréhender l’idée de pouvoir se substituer à l’éditeur au moment de la composition d’un ornement.

Dans le domaine de l’histoire des idées et de l’histoire du livre, le projet permettra de mieux connaître les modes de diffusion des ouvrages et de la pensée des Lumières en contexte de censure, à l’échelle européenne, par la mise en exergue du rôle, souvent minoré, du libraire comme acteur d’un réseau par ses pratiques et politiques éditoriales.

Le portage de l’outil d’aide à l’authentification vers d’autres bases, pour analyser et interpréter des fonds patrimoniaux dans une perspective d’identification et d’authentification sera étudié dans le cadre du projet grâce au partenariat avec la base Compositor et avec la Bibliothèque municipale de Lyon, partenaire du projet.

Christelle Bahier-Porte et Thierry Fournel

Références bibliographiques

Barber G., « Modèle genevois, mode européenne : le cas de Candide et de ses contrefaçons », Cinq siècles de d’imprimerie genevoise, Genève, Société d’histoire et d’archéologie, 1980-1981, p. 49-67.

Bascol K., Emonet R., Fromont R., Odobez J.M., « Unsupervised Interpretable PatternDiscovery in Time Series Using Autoencoders ». The joint IAPR International Workshops on Structural and Syntactic Pattern Recognition (SSPR 2016), p. 427-438. Springer, Cham.  

Baur, C., Wiestler, B., Albarqouni, S., & Navab, N. (2018, September). « Deep autoencoding models for unsupervised anomaly segmentation in brain MR images ». In International MICCAI Brainlesion Workshop(pp. 161-169). Springer, Cham.

Corsini S., “Vers un corpus des ornements typographiques lausannois du XVIIIe siècle : problèmes de définition et de méthode”, Ornementation typographique et bibliographie historique, Mons et Bruxelles, Van Balberghe, 1988, p. 139-158.

Corsini, S., « La preuve par les fleurons ? : analyse comparée du matériel ornemental des imprimeurs suisses romands : 1775-1785 » ; Ferney-Voltaire, Centre international d’étude du XVIIIe siècle, 1999.

Droixhe, D., « Une contrefaçon liégeoise des Œuvres du philosophe de Sans- Souci », dans R. Bach, R. Desné, G. Hassler, éds, Formen der Aufklärung und ihrer Rezeption- Expressions des Lumières et de leur réception. Festschrift zum 70. Geburtstag v. Ulrich Ricken, Tübingen : Stauffenburg Verlag, 1999, p.161-189.

Lample, G., Zeghidour, N., Usunier, N., Bordes, A., Denoyer, L., & Ranzato, M. A. (2017). « Fader networks: Manipulating images by sliding attributes ». In Advances in Neural Information Processing Systems(pp. 5967-5976).

McKenna A. et Mori G., « Claude-François Simon, imprimeur, dit « Poppy », contrefacteur de Marc Michel Rey », publié le 25 juin 2019,  https://mmrey.hypotheses.org/778

Makhzani, A., Shlens, J., Jaitly, N., Goodfellow, I., & Frey, B. (2015). « Adversarial autoencoders ». arXiv preprint arXiv:1511.05644

Vercruysse, Jeroom, « Les impressions clandestines bruxelloises de l’Histoire philosophique des deux Indes de l’abbé Raynal (1781) », Le livre et l’estampe, 43/147 (1997), pag. 7-52.

Weiss, N., Rueckert, D., Rao, A.: « Multiple Sclerosis Lesion Segmentation Using Dictionary Learning and Sparse Coding ». MICCAI 8149(Chapter 92), 735{742 (2013). 

Wilkinson, H., ‘Printers’ Flowers as Evidence in the Identification of Unknown Printers: Two Examples from 1715’. The Library, 7th ser., 14 (2013), p. 70–79.

ANR ROIi : Rey’s Ornament Image investigation

Le projet ROIi – Rey’s Ornament Image investigation (dir. Christelle Bahier-Porte), retenu par le CE 38 de l’ANR (“La révolution numérique : rapports au savoir et à la culture”), associe des chercheurs dans les domaines de l’histoire des idées, de la littérature et de l’histoire du livre (IHRIM-UMR 5317) et de la vision par ordinateur et de l’apprentissage automatique (Laboratoire Hubert Curien – UMR 5516). L’objectif de ce projet interdisciplinaire est de concevoir une base de données des ornements du libraire Marc-Michel Rey (1720-1780) associée à un outil d’aide à l’authentification, couplant vision par ordinateur et apprentissage automatique des données, des livres publiés sous des noms ou adresses fictifs ou contrefaits au XVIIIe siècle, par l’analyse des ornements.
Ce carnet a pour vocation de présenter de manière systématique et régulière les recherches et les activités scientifiques qui se dérouleront tout au long de la réalisation du projet ROIi. II servira également de passerelle entre les partenaires.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search