Ressources numériques en sciences humaines et sociales OpenEdition Nos plateformes OpenEdition Books OpenEdition Journals Hypothèses Calenda Bibliothèques OpenEdition Freemium Suivez-nous

Workshop – Computer vision for the investigation of ancient documents Saint-Étienne, 6-7 avril 2023

Organized by the team of the ANR Project ROIi, the workshop will echo projects for the development of computer vision tools aiming to help human experts in their analysis of ancient documents. It will allow discussion about recent methods in machine learning likely to improve or extend capabilities of image retrieval and query image analysis.

Congrès DH2022 – Tokyo- Juillet 2022

Le projet ROIi a participé au congrès mondial Digital Humanities de Tokyo qui s’est déroulé en visioconférence du fait de la pandémie de covid-19. Christelle Bahier-Porte et Thierry Fournel ont présenté, au nom de l’équipe, les principes, enjeux et premiers résultats du projet au sein d’un panel organisé par Hazel Wilkinson (University of Birmingham).

Le panel s’intitule Computer Vision for the Study of Printers’ Ornaments and Illustrations in European Hand-Press Books. Le programme est le suivant :

Giles Bergel, Abhishek Dutta (University of Oxford, Department of Engineering Science), “Visual Analysis of Chapbooks Printed in Scotland”

Christelle Bahier-Porte (UJM, IHRIM), Thierry Fournel (UJM, Laboratoire Hubert Curien),”Region of interest to investigate after learning the use of ornaments by Rey”

Hazel Wilkinson (University of Birmingham, Alan Turing Insitute) “Compositor, Visual AI, and Quantitative Network Analysis: Opportunities and Obstacles”

Drew Thomas (University of St Andrews), “Using Artificial Intelligence to Identify the Counterfeit Printers of the Protestant Reformation”

Panel Abstract:

Printers’ ornaments are the decorative images that appear in printed books to embellish title pages, headings, chapter endings, and any otherwise blank spaces. They were common throughout the hand press period in Europe (c.1470-1830), when they were printed from designs cut into wood or metal blocks, or cast in type-metal (Wilkinson, 2019). They are closely related to woodcut chapbook illustrations, which provided contextual visual stimuli to readers, and, like ornaments, were often designed in such a way that they could be reused in different contexts. Both cuts and type ornaments are like bibliographical fingerprints: their unique features can allow us to identify the printer of a book, even if the printer did not sign their name, or used a pseudonym (Maslen, 2001; Blayney 2021). Identifying a book’s printer can help us to date printed material, and better understand the workings of the book trade, and the circulation of texts and ideas. In literary studies, printers’ ornaments assist in our enquiries into the original circumstances of a book’s production, guiding the decisions of scholarly editors by increasing our understanding of the relationships between authors and the craftspeople who gave their texts material form. Ornaments are also of intrinsic interest as examples of graphic design.

Computer vision and machine learning can help us to build databases of ornaments and cuts, and to derive useful information from them. The four papers in this panel will present different problems and solutions arising from the use of visual AI to investigate ornaments and illustrations. Four projects are represented here, each of which has made some use of the open source VGG Image Search Engine (VISE) , and a key aspect of the panel will be discussion of the strengths and limitations of VISE for different kinds of research into ornament and illustration. The papers argue that different approaches are necessary when dealing with large, catch-all databases, compared to smaller, curated datasets that concentrate on a single printer or document type, with two examples of each kind. Paying attention to recent scholarship, several of the papers advance the established potential of ornaments to solve problems of printer identification and fraud detection (May, 2019). These papers will discuss the strengths and limitations of visual AI versus the human expert when it comes to making fine distinctions between images. It is possible to use data visualisation to draw wider conclusions from ornament usage about the activities and habits of printers, which could shape our understanding of the circulation of ideas in early modern Europe. Some of the papers will present arguments for the best use of the data these projects are producing, but the panel will also reflect on the inherent biases and flaws in digitization projects, which can skew our conclusions (Orr, 2021). The panel itself consists of both senior and early career researchers of different nationalities, and includes both men and women.

Projet ROIi : Rey’s Ornament Image investigation (2020-2024)

Le projet ROIi – Rey’s Ornament Image investigation, retenu par le CE 38 de l’ANR  (“La  révolution numérique : rapports au savoir et à la culture”), associe des chercheurs dans les domaines de l’histoire des idées, de la littérature et de l’histoire du livre (IHRIM-UMR 5317) et de la vision par ordinateur et de l’apprentissage automatique (Laboratoire Hubert Curien – UMR 5516). Les deux laboratoires se trouvent à l’Université Jean Monnet Saint-Étienne. Le projet est coordonné par Christelle Bahier-Porte avec Thierry Fournel pour le Laboratoire Hubert Curien.

L’objectif de ce projet interdisciplinaire est de concevoir une base de données d’ornements associée à un outil d’aide à l’authentification, couplant vision par ordinateur et apprentissage automatique des données, des livres publiés sous des noms ou adresses fictifs ou contrefaits au XVIIIsiècle, par l’analyse des ornements.

Les ornements à recenser sont issus des ouvrages édités par Marc Michel Rey (1720-1780), installé à Amsterdam à partir de 1746. Les pratiques éditoriales de ce libraire sont en effet particulièrement représentatives des difficultés d’attribution que posent les livres publiés dans un système réglementé du commerce du livre et de la censure.  Il publie des ouvrages sous le régime de l’anonymat ou sous fausses adresses pour échapper à la censure et favoriser leur diffusion.


Il pratique la contrefaçon et ses livres sont eux-mêmes contrefaits:

Avec l’examen du papier, des caractères typographiques, de la composition des cahiers et des modes de signature, l’analyse des ornements permet de décrire un ouvrage dans sa matérialité et constitue un indice supplémentaire, au sein d’un réseau d’indices concordants, d’identification ou d’authentification. Cette analyse peut s’effectuer à l’échelle d’un titre [Barber, 1981 ; Vercruysse, 1997 ; Droixhe, 1999] ou le plus souvent, pour attribuer des ouvrages à un imprimeur [Corsini, 1988 ; Wilkinson, 2013 ; McKenna et Mori, 2019].

Le corpus de Marc Michel Rey est en outre intéressant par la diversité des ornements utilisés :

Ornements bois qui caractérisent les débuts de l’imprimerie pour la période XVIe-début XVIIIe siècle. Ce sont des motifs d’une seule pièce, sculptés sur bois dont l’exemplaire est unique.

• Gravures uniques dont la plus célèbre est la « marque aux abeilles », marque d’éditeur de Rey.


Ornements composés, issus d’un assemblage de vignettes en métal, typiques du XVIIIe siècle.

Une base de données des ornements de Rey

Les premiers catalogues puis les premières bases de données d’ornements sont apparus à la fin des années 1990 [Corsini, 1999; [Soulatges, 2012]]. Le site Passe Partout créé à la fin des années 1990 par Silvio Corsini, directeur de la bibliothèque cantonale et universitaire de Lausanne, membre du projet ROIi se présente comme une « banque internationale d’ornements d’imprimerie ». Elle réunit deux bases de données d’ornements du XVIIIe siècle Fleuron (Lausanne, ornements d’imprimeurs suisses), Maguelone et donnait accès à Moriane. Le site propose une fonctionnalité de reconnaissance d’image par reconnaissance de formes (logiciel TODAI élaboré en 1996 à l’École Polytechnique de Lausanne) qui fut pionnière. La base de données la plus récente est la base Compositor (University of Birmingham) qui propose plus d’un million d’images d’ornements du XVIIIe siècle à laquelle sont associées des outils de reconnaissance d’image conçus par le Visual Geometry Group d’Oxford. La conceptrice de cette base, Hazel Wilkinson, est également associée au projet ROIi.

Ces bases de données d’ornements se sont heurtées à des verrous techniques concernant le mode de soumission des images, les méthodes de reconnaissance et d’indexation des données, le volume des données disponibles ou encore la fiabilité des résultats. Conscients de ces difficultés, nous pensons que le fait d’articuler le développement d’un outil d’aide à l’authentification à une base de données circonscrite aux pratiques d’un libraire précis permet de mener une expérimentation dans de bonnes conditions. En effet, les détections réalisées au sein des ornements par des algorithmes de vision par ordinateur et d’apprentissage automatique seront constamment confrontées à l’expertise humaine, permise par la connaissance du fonds, pour mieux s’en inspirer et parvenir à une performance interprétable, suffisante et fiable. Le fait de fonder le projet sur la pratique d’un libraire constitue une originalité du projet et un challenge scientifique alors que la majorité des bases existantes se fondent sur des imprimeurs. Notre hypothèse est que l’usage des ornements ne relève pas seulement d’une pratique d’imprimerie mais permet de définir un « profil » du libraire, très attentif à la qualité de ses ouvrages, et relève d’une politique éditoriale : dans quelle mesure l’ornement est-il un signe de reconnaissance, même dans un ouvrage sous fausse adresse, un indice de ce que nous appellerions avec anachronisme une « propriété intellectuelle » ? Seul un examen comparé le plus précis possible permettra de répondre à cette question.


L’élaboration de la base de données des ornements de Rey servira au déploiement de l’outil développé par le Laboratoire Hubert Curien. Une fois achevée, cette base permettra la consultation permanente et en libre accès de ces données, hébergées sur Nakala espace de stockage et d’archivage pérenne, rendues moissonnables et interopérables, via un serveur hébergé sur l’infrastructure de la TGIR Huma-Num. Les métadonnées seront alignées sur des notices d’autorité (IdRef) grâce au gestionnaire de thésaurus Opentheso. Ce dernier aura une fonction pivot associant les données du projet ROIi et celle de l’édition numérique des archives et de la correspondance de Rey.


Segmentation d’anomalies par apprentissage statistique

Le projet ROIi entend confirmer l’importance de l’analyse des ornements dans une démarche d’authentification, concernant ici l’édition. Il vise à montrer la pertinence d’une analyse automatique venant en support de l’expertise humaine, apte à délivrer des éléments visuels interprétables et tangibles : des anomalies inscrites dans des régions d’intérêt (Region Of Interest), à détecter. Cette segmentation va être assujettie à la nature de l’ornement présenté en requête face à la base d’ornements authentifiés. 

Dans le cas des ornements bois ou des gravures, chacun issu d’une matrice unique créée d’un seul bloc, la segmentation visera à révéler des anomalies morphologiques dans la reconstruction de l’image-requête, faite au moyen d’une représentation issue d’un apprentissage réalisé à partir de la base de données.  La segmentation résoudra ainsi une retranscription du jeu des erreurs en analysant la différence entre l’image-requête et l’image reconstruite à l’aide de caractéristiques authentiques et prenant en compte les défauts d’impression (liés à l’action de la presse ou son usure). La reconstruction pourra être effectuée localement via un codage parcimonieux au moyen d’un dictionnaire appris de patches [Weiss et al., 2013] ou globalement via un auto-encodeur entraîné [Baur et al., 2018].

Dans le cas des ornements composés, les vignettes de l’assemblage originel sont reproductibles et représentent chacune un motif choisi par l’éditeur dans le catalogue de son fournisseur : il s’agira de repérer des motifs suspects susceptibles de constituer des anomalies typographiques. Une structure de motifs hors profil (pouvant correspondre à un faux ou à une évolution de style) pourra être localisée par reconnaissance \ suppression de structures récurrentes, véritables traits du style de composition obtenus par extraction automatique préalable de la base de données [Bascol et al., 2016] (à l’aide d’une architecture d’auto-encodeur non symétrique). La présence dans l’ornement d’une vignette ne figurant pas dans le catalogue (un faux) ou inhabituelle (mise à jour d’un dictionnaire – à construire – des vignettes utilisées par l’éditeur) pourra être identifiée dans l’ornement-requête après décomposition élémentaire en vignettes. Connaissant le profil de l’éditeur et les vignettes constitutives de l’ornement composé, une recomposition automatique destinée à mimer une composition originale sera appréhendée [Makhzani et al., 2015 ; Lample et al., 2017], réduisant ainsi le problème au jeu des erreurs (entre l’ornement-requête et l’ornement recomposé).  

Perspectives

La base issue du projet, exposant les résultats, sera diffusée en open access sur un site hébergé par Huma-Num adossé à l’édition numérique des archives de Marc Michel Rey (déjà hébergée par Huma-Num). Elle sera associée à un démonstrateur, permettant les requêtes, la recherche d’images similaires dans la base de données et la détection / visualisation de régions d’intérêts présentant ou susceptibles de présenter des anomalies dans une image-requête.

La segmentation d’anomalies est une problématique récente de la vision par ordinateur. Le contexte de l’authentification des ornements est propice à la formulation d’algorithmes originaux dans le domaine de l’apprentissage statistique et de l’analyse d’image notamment par auto-encodage. Par ailleurs, la contrainte d’une quantité de données relativement faible s’ajoute au défi d’appréhender l’idée de pouvoir se substituer à l’éditeur au moment de la composition d’un ornement.

Dans le domaine de l’histoire des idées et de l’histoire du livre, le projet permettra de mieux connaître les modes de diffusion des ouvrages et de la pensée des Lumières en contexte de censure, à l’échelle européenne, par la mise en exergue du rôle, souvent minoré, du libraire comme acteur d’un réseau par ses pratiques et politiques éditoriales.

Le portage de l’outil d’aide à l’authentification vers d’autres bases, pour analyser et interpréter des fonds patrimoniaux dans une perspective d’identification et d’authentification sera étudié dans le cadre du projet grâce au partenariat avec la base Compositor et avec la Bibliothèque municipale de Lyon, partenaire du projet.

Christelle Bahier-Porte et Thierry Fournel

Références bibliographiques

Barber G., « Modèle genevois, mode européenne : le cas de Candide et de ses contrefaçons », Cinq siècles de d’imprimerie genevoise, Genève, Société d’histoire et d’archéologie, 1980-1981, p. 49-67.

Bascol K., Emonet R., Fromont R., Odobez J.M., « Unsupervised Interpretable PatternDiscovery in Time Series Using Autoencoders ». The joint IAPR International Workshops on Structural and Syntactic Pattern Recognition (SSPR 2016), p. 427-438. Springer, Cham.  

Baur, C., Wiestler, B., Albarqouni, S., & Navab, N. (2018, September). « Deep autoencoding models for unsupervised anomaly segmentation in brain MR images ». In International MICCAI Brainlesion Workshop(pp. 161-169). Springer, Cham.

Corsini S., “Vers un corpus des ornements typographiques lausannois du XVIIIe siècle : problèmes de définition et de méthode”, Ornementation typographique et bibliographie historique, Mons et Bruxelles, Van Balberghe, 1988, p. 139-158.

Corsini, S., « La preuve par les fleurons ? : analyse comparée du matériel ornemental des imprimeurs suisses romands : 1775-1785 » ; Ferney-Voltaire, Centre international d’étude du XVIIIe siècle, 1999.

Droixhe, D., « Une contrefaçon liégeoise des Œuvres du philosophe de Sans- Souci », dans R. Bach, R. Desné, G. Hassler, éds, Formen der Aufklärung und ihrer Rezeption- Expressions des Lumières et de leur réception. Festschrift zum 70. Geburtstag v. Ulrich Ricken, Tübingen : Stauffenburg Verlag, 1999, p.161-189.

Lample, G., Zeghidour, N., Usunier, N., Bordes, A., Denoyer, L., & Ranzato, M. A. (2017). « Fader networks: Manipulating images by sliding attributes ». In Advances in Neural Information Processing Systems(pp. 5967-5976).

McKenna A. et Mori G., « Claude-François Simon, imprimeur, dit « Poppy », contrefacteur de Marc Michel Rey », publié le 25 juin 2019,  https://mmrey.hypotheses.org/778

Makhzani, A., Shlens, J., Jaitly, N., Goodfellow, I., & Frey, B. (2015). « Adversarial autoencoders ». arXiv preprint arXiv:1511.05644

Vercruysse, Jeroom, « Les impressions clandestines bruxelloises de l’Histoire philosophique des deux Indes de l’abbé Raynal (1781) », Le livre et l’estampe, 43/147 (1997), pag. 7-52.

Weiss, N., Rueckert, D., Rao, A.: « Multiple Sclerosis Lesion Segmentation Using Dictionary Learning and Sparse Coding ». MICCAI 8149(Chapter 92), 735{742 (2013). 

Wilkinson, H., ‘Printers’ Flowers as Evidence in the Identification of Unknown Printers: Two Examples from 1715’. The Library, 7th ser., 14 (2013), p. 70–79.