Computing the Page in Early-Modern Europe, Oxford, 15 mars 2024

Teaching Room, Oxford e-Research Centre, Keble Rd, Oxford

This workshop is hosted by the Visual Geometry Group (VGG) in association with the AHRC-funded Envisioning Dante project. 

Programme

0915 Welcome and introduction

0930-1045  Papers 1 and 2

Coffee

1115-1230 Papers 3 and 4

Lunch

1330-1530 Papers 5, 6 and 7

Coffee

1600 Discussion and next steps

1700 End

Paper One

Segmenting Dante, 1470-1620

Guyda Armstrong, Giles Bergel, Rebecca Bowen, Abhishek Dutta, Simon Gilson, Gloria Moorman, David Pinto, Prasanna Sridhar, Andrew Zisserman, Guanqi Zhang (Manchester, Oxford)

Abstract: This paper will present the initial findings from a three-year project on the almost entire corpus of early editions of Dante’s Commedia. Lead by the University of Manchester and partnering with VGG in Oxford, the project has so far digitised almost 100 books and applied various segmentation models to the resulting images. The presentation will report results using Mask R-CNN, FASTER-CNN and Mask2Former models, with ground truth established and inference reviewed using the VGG Image Annotator (VIA) tools. The project has also begun to explore computer-aided image comparison, visual search and OCR. The presentation will discuss how domain knowledge (including reading as well as seeing the page) might intersect with the visual analysis, as well as some of the complexities of early printed books that the visual analysis both surfaces and seeks to address.

Paper Two

Werck der bücher’: Rediscovering the history of early modern printing using type recognition and type shape analysis

Florian Kordon (Pattern Recognition Lab of FAU Erlangen-Nürnberg); Nikolaus Weichselbaumer (Johannes Gutenberg-Universität Mainz)

Abstract: The ‘werck der bücher’ (work of books) project challenges the conventional view of the invention of printing, focusing on the period between 1440 and 1470 as one of diverse technological experimentation. Utilizing both typographic methods and computer vision techniques, we aim to examine the variety of printing techniques from this era, from blockbooks to movable type, to understand their development and interaction. Our work seeks to clarify how these technologies coexisted and possibly shared methodologies, moving away from the idea of isolated competition. This talk will discuss the methods we developed for recognizing font groups using locally combined OCR models and recognizing glyphs in early modern prints using Joint Energy-based Models. We will further discuss our methodology for recognizing and classifying the subtle differences in shape between different glyphs from a large collection of incunables.

Paper 3

Interpretable computer vision analysis of historical prints

Mathieu Aubry, Sonat Baltaci (École des Ponts ParisTech)

Abstract: In this talk, we will present interpretable AI algorithms and their applications on curated datasets of early printed books. First, we will present the algorithms we used for  illustration extraction and interpretable similarity search and the first results of our VHS project on the diffusion of scientific illustrations. Second, we will present an interpretable clustering algorithm, and how it can be used to cluster ornaments printed from woodblocks collected by the ROIi project. Finally, we will give an overview of other projects related to historical document analysis developed in our team, emphasising the online tools we built and made available online to foster collaborations with historians.

Paper 4

Layout analysis and networks of early modern printers

Hassan El-Hajj (Max Planck Institute for the History of Science); Matteo Valleriani (Max Planck Institute for the History of Science/Technische Universität Berlin/Tel Aviv University

In a recent study conducted as part of the project “The Sphere. Knowledge System Evolution and the Shared Scientific Identity of Europe,” it was concluded that, with reference to the collection of historical sources analyzed, about 50 percent of the collection had been produced through a process of “imitation:” the printers involved “imitated” books produced by other printers. This imitation concerned both content and form, particularly book size and layout. However, it was not a single model imitated equally by all printers but a series of books that, from time to time, gave rise to such a more or less intense process of imitation.In this way it has been possible to establish networks of printers for whom it can be safely said that they knew each other’s books produced (networks of awareness).The method for reaching this result was to develop a distance metric between portions of the fingerprints of the books belonging to the collection, a metric that treats fingerprints as vectors.Through this method, books similar in content and form are automatically identified simply based on the bibliographic metadata of the fingerprint. However, only 84 percent of the identified books turn out to be actually part of such concatenations of imitated sources. This result, while important, nevertheless represents a limitation as severe as the collection of sourcea analyzed is large, as manual empirical validation is necessary to eliminate the 16% of incorrect identifications.The presentation will briefly introduce the conducted study by elaborating on (a) the concept of “network of awareness” and all its possible historical interpretations based on early modern methods of text production and sale, (b) the limitations of the developed method, and (c) how, through the integration of Machine Learning, greater accuracy can be achieved with respect to the detection of similar texts and thus networks of printers.

Paper 5

Vignettes discovery in historical ornaments: Rey database and practices, limits and advances

Sayan Chaki1†, Remi Emonet1†,3, Fabienne Vial-Bonacci 2, Amaury Habrard1†,3, Christelle Bahier-Porte2, Thierry Fournel

Univ. Lyon, UJM-St-Etienne, CNRS, Institut d’Optique Graduate School, Inria \ Laboratoire Hubert Curien UMR 5516, F-42023, Saint-Etienne, France IHRIM-Institut d’Histoire des Représentations et des Idées dans les Modernités, UMR 5317, France; IUF University Institute of France

Abstract: The Marc-Michel Rey database, currently under construction, aims to gather detailed data on the ornaments printed in books addressed to or attributed to this bookseller. The books were published in the 18th century by this bookseller-publisher, who played a central role in the dissemination of Enlightenment thought. The unsupervised decomposition of compound ornaments into vignettes can aid book attribution and provide a better understanding of editorial practices during a period of censorship. This article highlights a shortcoming that currently limits automation of the task via segmentation when the number of glyphs increases. A possible improvement based on diffusion rendering will be discussed.

Paper 6

Camels, Nautili, Trees and More: On the Digital Exploration of Ottoman Nature in Travelogues

Doris Gruber (ÖAW), Michela Vignoli (AIT), Jacopo Jandl (ÖNB), Michael Seidl (AIT)

Visiting foreign regions strongly impacts people. In the early modern period, many travelers recorded their experiences. These travelogues have survived in large numbers and inspired countless research. Nature – animals, plants and landscapes – are often a central theme of these reports. Their role, the extent to which these representations reflect desires, expectations or needs, and figured as instruments to achieve cultural, military or political aims of the people involved in their production as well as their audience has, however, hardly been investigated.

The project Ottoman Nature in Travelogues, 1501–1850: A Digital Analysis, funded by the Austrian Science Fund (FWF: FWF: P 35245), is dedicated to this question. The focus lies on printed travelogues on the Ottoman Empire. We hereby explore new computerized methods, some of which use machine learning. The presentation summarizes the most important results of the first project phase on image analysis and outlines further plans.

The following institutions collaborate in the project: the Institute for Habsburg and Balkan Studies (IHB) of the Austrian Academy of Sciences (ÖAW), the Austrian Institute of Technology (AIT) as well as the Austrian National Library (ÖNB).

Paper Seven

Multi-Modal Insights into Early Modern Religious Visual Culture 

Drew Thomas, University College Dublin

This paper presents ‘Visualizing Faith: Print, Piety and Power’, a project investigating Protestant and Catholic visual communication in the Holy Roman Empire during the Reformation era. Leveraging the Ornamento corpus, which used computer vision and the VISE image matching software to identify and track visual elements in books printed from 1450 to 1600, we employ the Wise interface by VGG for text-based image search. By integrating the Wise API with our Solr index, we can refine our searches based on visual elements and bibliographic metadata. Additionally, we integrate GPT-4 to generate captions for illustrations, enhancing our understanding of visual rhetoric. By combining these two methods, we can better understand the evolution of graphic design and visual media during Europe’s first mass media event.

Contact: giles.bergel@eng.ox.ac.uk; 44 7866 566982

Workshop – Computer vision for the investigation of ancient documents Saint-Étienne, 6-7 avril 2023

Organized by the team of the ANR Project ROIi, the workshop will echo projects for the development of computer vision tools aiming to help human experts in their analysis of ancient documents. It will allow discussion about recent methods in machine learning likely to improve or extend capabilities of image retrieval and query image analysis.

VIRTUAL SYMPOSIUM: “TERMS OF ART”

Le 22 février 2023 à 19h30 (heure française), Hazel Wilkinson, experte dans le cadre du projet ROIi, participera à une table-ronde réunissant des professionnels – historiens de l’art, conservateurs, catalogueurs, spécialistes des collections – sur la question des pratiques et de l’avenir de la description et du catalogage des ornements.

Le colloque est accessible gratuitement en ligne: programme et inscription à cette adresse :

https://hoodmuseum.dartmouth.edu/events/event?event=68735

Congrès DH2022 – Tokyo- Juillet 2022

Le projet ROIi a participé au congrès mondial Digital Humanities de Tokyo qui s’est déroulé en visioconférence du fait de la pandémie de covid-19. Christelle Bahier-Porte et Thierry Fournel ont présenté, au nom de l’équipe, les principes, enjeux et premiers résultats du projet au sein d’un panel organisé par Hazel Wilkinson (University of Birmingham).

Le panel s’intitule Computer Vision for the Study of Printers’ Ornaments and Illustrations in European Hand-Press Books. Le programme est le suivant :

Giles Bergel, Abhishek Dutta (University of Oxford, Department of Engineering Science), “Visual Analysis of Chapbooks Printed in Scotland”

Christelle Bahier-Porte (UJM, IHRIM), Thierry Fournel (UJM, Laboratoire Hubert Curien),”Region of interest to investigate after learning the use of ornaments by Rey”

Hazel Wilkinson (University of Birmingham, Alan Turing Insitute) “Compositor, Visual AI, and Quantitative Network Analysis: Opportunities and Obstacles”

Drew Thomas (University of St Andrews), “Using Artificial Intelligence to Identify the Counterfeit Printers of the Protestant Reformation”

Panel Abstract:

Printers’ ornaments are the decorative images that appear in printed books to embellish title pages, headings, chapter endings, and any otherwise blank spaces. They were common throughout the hand press period in Europe (c.1470-1830), when they were printed from designs cut into wood or metal blocks, or cast in type-metal (Wilkinson, 2019). They are closely related to woodcut chapbook illustrations, which provided contextual visual stimuli to readers, and, like ornaments, were often designed in such a way that they could be reused in different contexts. Both cuts and type ornaments are like bibliographical fingerprints: their unique features can allow us to identify the printer of a book, even if the printer did not sign their name, or used a pseudonym (Maslen, 2001; Blayney 2021). Identifying a book’s printer can help us to date printed material, and better understand the workings of the book trade, and the circulation of texts and ideas. In literary studies, printers’ ornaments assist in our enquiries into the original circumstances of a book’s production, guiding the decisions of scholarly editors by increasing our understanding of the relationships between authors and the craftspeople who gave their texts material form. Ornaments are also of intrinsic interest as examples of graphic design.

Computer vision and machine learning can help us to build databases of ornaments and cuts, and to derive useful information from them. The four papers in this panel will present different problems and solutions arising from the use of visual AI to investigate ornaments and illustrations. Four projects are represented here, each of which has made some use of the open source VGG Image Search Engine (VISE) , and a key aspect of the panel will be discussion of the strengths and limitations of VISE for different kinds of research into ornament and illustration. The papers argue that different approaches are necessary when dealing with large, catch-all databases, compared to smaller, curated datasets that concentrate on a single printer or document type, with two examples of each kind. Paying attention to recent scholarship, several of the papers advance the established potential of ornaments to solve problems of printer identification and fraud detection (May, 2019). These papers will discuss the strengths and limitations of visual AI versus the human expert when it comes to making fine distinctions between images. It is possible to use data visualisation to draw wider conclusions from ornament usage about the activities and habits of printers, which could shape our understanding of the circulation of ideas in early modern Europe. Some of the papers will present arguments for the best use of the data these projects are producing, but the panel will also reflect on the inherent biases and flaws in digitization projects, which can skew our conclusions (Orr, 2021). The panel itself consists of both senior and early career researchers of different nationalities, and includes both men and women.

Ateliers ROIi: 15 et 16 juin 2022, Université Jean Monnet, Saint-Etienne

L’équipe de l’ANR ROIi organise deux journées d’échanges visant à répondre aux problématiques posées par la construction d’une base de données intégrant une fonctionnalité d’identification d’anomalies au sein d’ornements anciens en vue de l’authentification d’un ouvrage.

Programme provisoire :

Inscription gratuite mais obligatoire : formulaire d’inscription.

Repérage de motifs hors dictionnaire au sein d’ornements composés grâce à un Détecteur-AutoEncodeur

voir la version anglaise de cet article

Un réseau de neurones [Khan M. S., Emonet R. et Fournel T., 2021] a été développé dans le cadre de l’étude des pratiques du libraire Marc-Michel Rey [Bahier-Porte et Vial-Bonacci, 2019] pour venir en aide au repérage de motifs non répertoriées au sein d’un ornement composé. Seules les vignettes utilisées par M.-M. Rey recensées dans un dictionnaire qui constitue les données d’apprentissage des paramètres du réseau sont, après détection, correctement reconstruites (Fig. 1) par l’architecture mise au point.

Figure 1. A gauche : une image composée de vignettes aléatoirement distribuées sans chevauchement. Les boîtes englobantes des vignettes détectées figurent en rouge. Les boîtes englobantes des vignettes hors dictionnaire (vérité terrain) sont indiquées en bleu. A droite :  image reconstruite à partir des détections dans l’image composée de gauche.

Le détecteur placé en amont du décodeur est destiné à reconnaître avec une certaine probabilité toute vignette du dictionnaire rentrant dans la composition de l’ornement soumis à l’analyse. Tout motif détecté l’est au sein d’une boîte englobante. Il n’est reconstruit qu’au-delà d’un certain seuil prédéfini de probabilité. Sa reconstruction qui est faite à l’aide des caractéristiques apprises de la vignette a priori détectée, sera d’autant plus fidèle que le motif en question correspond effectivement à la vignette détectée.

Le détecteur implanté est un Single Shot Multibox Detector [Liu et al 2016] auquel ont été ajoutées des couches d’alignement des boîtes englobantes prédites [He et al 2017] et de transformation des cartes de caractéristiques en vecteurs descripteurs de dimensions 1 × 1 × 1024. Ces derniers sont transmis aux trois couches linéaires complètement connectées du décodeur avant d’être redimensionnés en imagettes 128×128. Le détecteur-autoencodeur (DAE) ainsi constitué (https://gitlab.huma-num.fr/ANR-ROIi) a été entraîné puis évalué, cela après avoir fait l’apprentissage du détecteur-encodeur au moyen de la distance Intersection-sur-Union [Zheng et al 2020].

L’évaluation du modèle DAE a été réalisée sur des images synthétisées, composées à partir d’un ensemble de 199 vignettes réelles (chacune numérisée en 4 exemplaires binarisés issus d’impressions différentes), 185 d’entre elles constituant arbitrairement le dictionnaire utilisé pour la synthèse des images d’apprentissage.  Chacune des images synthétisées est composée de vignettes sélectionnées au hasard (11 en moyenne, dont 2 hors dictionnaire pour les images de test), dispersées aléatoirement sans chevauchement dans une matrice de 640×640 pixels (https://documentation.huma-num.fr/nakala/). La reconstruction par le modèle (rendue quasi-systématique par abaissement du seuil de probabilité) s’avère singulièrement dégradée (corrélation proche de zéro) lorsque le motif (la vignette) détecté(e) ne correspond pas à une vignette du dictionnaire (Fig. 2). Le modèle DAE reste à comparer avec l’état de l’art. 

Figure 2. Histogrammes de l’inter-corrélation normalisée entre un motif détecté et sa version reconstruite : en bleu lorsque le motif est une vignette du dictionnaire, en rouge lorsque le motif est hors dictionnaire.

Rémi Emonet, Mohammad Sadil Khan, and Thierry Fournel

LHC-Laboratoire Hubert Curien-Saint-Etienne

References

Khan M. S., Emonet R. et Fournel T., Vignette detection and reconstruction of composed ornaments with a strengthened autoencoder, https://hal.archives-ouvertes.fr/hal-03409930, 2021

Bahier-Porte C. et Vial-Bonacci F, Le commerce de la librairie à la lumière de la correspondance – Marc Michel Rey, Pierre Rousseau, Charles Weissenbruch, Journal encyclopédique aux humanités numériques. Trois siècles d’histoire du livre et de la pensée à travers le Fonds Weissenbruch, Bruxelles, Archives générales du Royaume, p. 205-222, 2019

Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., Berg, A. C., SSD: Single-Shot Multibox detector, in European conference on computer vision. Springer, Cham, p. 21-37, 2016

He, K., Gkioxari, G., Doll´ar, P., Girshick, R., Mask R-CNN, in Proceedings of the IEEE international conference on computer vision. p. 2961-2969, 2017

Zheng, Z., Wang, P., Liu, W., Li, J., Ye, R., Ren, D., Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression, in Proceedings of the AAAI Conference on Artificial Intelligence, p. 12993-13000, 2020

Detector-encoder AutoEncoder for decomposition into M.-M. Rey’s vignettes

see a french version

A machine learning model has been developed for the analysis of composed ornaments [Khan M. S., Emonet R. et Fournel T., 2021] in order to help the human experts during the process of assignment to the publisher, Marc-Michel Rey [Bahier-Porte et Vial-Bonacci, 2019].  The model is designed for vignette pattern detection with bounding box and probability assignment,then reconstruction from features when the assigned probability is greater than a predefined threshold value. Such a decomposition into vignettes can be achieved after learning the parameters of the model from a dictionary of vignettes used by M.-M. Rey.  Out-of-dictionary or suspicious vignettes are so missing or badly reproduced in the reconstructed image (Fig. 1).

Figure 1. (Left) An input image composed with vignettes randomly distributed, with the detected bounding boxes in red, out-of-dictionary vignettes (ground truth) being indicated by bounding boxes in blue. (Right) The reconstructed image.

The architecture of the model is an object detector placed upstream of a decoder to strengthen both detection and copy-and-past of vignettes in the dictionary. More precisely, a Single Shot Multibox Detector [Liu et al 2016] is used to predict boxes bounding predicted vignettes in the dictionary. In the detection part, some layers are added to align the predicted bounding boxes [He et al 2017] and transform the feature maps into 1 × 1 × 1024 feature vectors. In the decoding part, the feature vectors are fed into three fully connected linear layers then reshaped into 128×128 reconstructed vignettes. The Detector-Encoder was first trained separately by using Distance IoU [Zheng et al 2020], then the stacked neural network named DAE as Detector-AutoEncoder (https://gitlab.huma-num.fr/ANR-ROIi). 

DAE was tested on a dataset of images synthetized from real vignettes randomly selected in two arbitrary classes, normals and abnormals, and placed in the image area without any typographical composition to properly challenge the model (https://documentation.huma-num.fr/nakala/).  Normalized cross-correlation index between an original vignette and the reconstructed one shows a clear separation between normal and abnormal populations (Fig. 2). DAE has now to be compared with the state-of-the-art algorithms.

Figure 2. Histograms of the normalized cross-correlation index between an original vignette and the reconstructed one for abnormal and normal vignettes.

Rémi Emonet, Mohammad Sadil Khan, and Thierry Fournel

LHC-Laboratoire Hubert Curien-Saint-Etienne

References

Khan M. S., Emonet R. et Fournel T., Vignette detection and reconstruction of composed ornaments with a strengthened autoencoder, https://hal.archives-ouvertes.fr/hal-03409930, 2021

Bahier-Porte C. et Vial-Bonacci F, Le commerce de la librairie à la lumière de la correspondance – Marc Michel Rey, Pierre Rousseau, Charles Weissenbruch, Journal encyclopédique aux humanités numériques. Trois siècles d’histoire du livre et de la pensée à travers le Fonds Weissenbruch, Bruxelles, Archives générales du Royaume, p. 205-222, 2019

Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., Berg, A. C., SSD: Single-Shot Multibox detector, in European conference on computer vision. Springer, Cham, p. 21-37, 2016

He, K., Gkioxari, G., Doll´ar, P., Girshick, R., Mask R-CNN, in Proceedings of the IEEE international conference on computer vision. p. 2961-2969, 2017

Zheng, Z., Wang, P., Liu, W., Li, J., Ye, R., Ren, D., Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression, in Proceedings of the AAAI Conference on Artificial Intelligence, p. 12993-13000, 2020

Projet ROIi : Rey’s Ornament Image investigation (2020-2024)

Le projet ROIi – Rey’s Ornament Image investigation, retenu par le CE 38 de l’ANR  (“La  révolution numérique : rapports au savoir et à la culture”), associe des chercheurs dans les domaines de l’histoire des idées, de la littérature et de l’histoire du livre (IHRIM-UMR 5317) et de la vision par ordinateur et de l’apprentissage automatique (Laboratoire Hubert Curien – UMR 5516). Les deux laboratoires se trouvent à l’Université Jean Monnet Saint-Étienne. Le projet est coordonné par Christelle Bahier-Porte avec Thierry Fournel pour le Laboratoire Hubert Curien.

L’objectif de ce projet interdisciplinaire est de concevoir une base de données d’ornements associée à un outil d’aide à l’authentification, couplant vision par ordinateur et apprentissage automatique des données, des livres publiés sous des noms ou adresses fictifs ou contrefaits au XVIIIsiècle, par l’analyse des ornements.

Les ornements à recenser sont issus des ouvrages édités par Marc Michel Rey (1720-1780), installé à Amsterdam à partir de 1746. Les pratiques éditoriales de ce libraire sont en effet particulièrement représentatives des difficultés d’attribution que posent les livres publiés dans un système réglementé du commerce du livre et de la censure.  Il publie des ouvrages sous le régime de l’anonymat ou sous fausses adresses pour échapper à la censure et favoriser leur diffusion.


Il pratique la contrefaçon et ses livres sont eux-mêmes contrefaits:

Avec l’examen du papier, des caractères typographiques, de la composition des cahiers et des modes de signature, l’analyse des ornements permet de décrire un ouvrage dans sa matérialité et constitue un indice supplémentaire, au sein d’un réseau d’indices concordants, d’identification ou d’authentification. Cette analyse peut s’effectuer à l’échelle d’un titre [Barber, 1981 ; Vercruysse, 1997 ; Droixhe, 1999] ou le plus souvent, pour attribuer des ouvrages à un imprimeur [Corsini, 1988 ; Wilkinson, 2013 ; McKenna et Mori, 2019].

Le corpus de Marc Michel Rey est en outre intéressant par la diversité des ornements utilisés :

Ornements bois qui caractérisent les débuts de l’imprimerie pour la période XVIe-début XVIIIe siècle. Ce sont des motifs d’une seule pièce, sculptés sur bois dont l’exemplaire est unique.

• Gravures uniques dont la plus célèbre est la « marque aux abeilles », marque d’éditeur de Rey.


Ornements composés, issus d’un assemblage de vignettes en métal, typiques du XVIIIe siècle.

Une base de données des ornements de Rey

Les premiers catalogues puis les premières bases de données d’ornements sont apparus à la fin des années 1990 [Corsini, 1999; [Soulatges, 2012]]. Le site Passe Partout créé à la fin des années 1990 par Silvio Corsini, directeur de la bibliothèque cantonale et universitaire de Lausanne, membre du projet ROIi se présente comme une « banque internationale d’ornements d’imprimerie ». Elle réunit deux bases de données d’ornements du XVIIIe siècle Fleuron (Lausanne, ornements d’imprimeurs suisses), Maguelone et donnait accès à Moriane. Le site propose une fonctionnalité de reconnaissance d’image par reconnaissance de formes (logiciel TODAI élaboré en 1996 à l’École Polytechnique de Lausanne) qui fut pionnière. La base de données la plus récente est la base Compositor (University of Birmingham) qui propose plus d’un million d’images d’ornements du XVIIIe siècle à laquelle sont associées des outils de reconnaissance d’image conçus par le Visual Geometry Group d’Oxford. La conceptrice de cette base, Hazel Wilkinson, est également associée au projet ROIi.

Ces bases de données d’ornements se sont heurtées à des verrous techniques concernant le mode de soumission des images, les méthodes de reconnaissance et d’indexation des données, le volume des données disponibles ou encore la fiabilité des résultats. Conscients de ces difficultés, nous pensons que le fait d’articuler le développement d’un outil d’aide à l’authentification à une base de données circonscrite aux pratiques d’un libraire précis permet de mener une expérimentation dans de bonnes conditions. En effet, les détections réalisées au sein des ornements par des algorithmes de vision par ordinateur et d’apprentissage automatique seront constamment confrontées à l’expertise humaine, permise par la connaissance du fonds, pour mieux s’en inspirer et parvenir à une performance interprétable, suffisante et fiable. Le fait de fonder le projet sur la pratique d’un libraire constitue une originalité du projet et un challenge scientifique alors que la majorité des bases existantes se fondent sur des imprimeurs. Notre hypothèse est que l’usage des ornements ne relève pas seulement d’une pratique d’imprimerie mais permet de définir un « profil » du libraire, très attentif à la qualité de ses ouvrages, et relève d’une politique éditoriale : dans quelle mesure l’ornement est-il un signe de reconnaissance, même dans un ouvrage sous fausse adresse, un indice de ce que nous appellerions avec anachronisme une « propriété intellectuelle » ? Seul un examen comparé le plus précis possible permettra de répondre à cette question.


L’élaboration de la base de données des ornements de Rey servira au déploiement de l’outil développé par le Laboratoire Hubert Curien. Une fois achevée, cette base permettra la consultation permanente et en libre accès de ces données, hébergées sur Nakala espace de stockage et d’archivage pérenne, rendues moissonnables et interopérables, via un serveur hébergé sur l’infrastructure de la TGIR Huma-Num. Les métadonnées seront alignées sur des notices d’autorité (IdRef) grâce au gestionnaire de thésaurus Opentheso. Ce dernier aura une fonction pivot associant les données du projet ROIi et celle de l’édition numérique des archives et de la correspondance de Rey.


Segmentation d’anomalies par apprentissage statistique

Le projet ROIi entend confirmer l’importance de l’analyse des ornements dans une démarche d’authentification, concernant ici l’édition. Il vise à montrer la pertinence d’une analyse automatique venant en support de l’expertise humaine, apte à délivrer des éléments visuels interprétables et tangibles : des anomalies inscrites dans des régions d’intérêt (Region Of Interest), à détecter. Cette segmentation va être assujettie à la nature de l’ornement présenté en requête face à la base d’ornements authentifiés. 

Dans le cas des ornements bois ou des gravures, chacun issu d’une matrice unique créée d’un seul bloc, la segmentation visera à révéler des anomalies morphologiques dans la reconstruction de l’image-requête, faite au moyen d’une représentation issue d’un apprentissage réalisé à partir de la base de données.  La segmentation résoudra ainsi une retranscription du jeu des erreurs en analysant la différence entre l’image-requête et l’image reconstruite à l’aide de caractéristiques authentiques et prenant en compte les défauts d’impression (liés à l’action de la presse ou son usure). La reconstruction pourra être effectuée localement via un codage parcimonieux au moyen d’un dictionnaire appris de patches [Weiss et al., 2013] ou globalement via un auto-encodeur entraîné [Baur et al., 2018].

Dans le cas des ornements composés, les vignettes de l’assemblage originel sont reproductibles et représentent chacune un motif choisi par l’éditeur dans le catalogue de son fournisseur : il s’agira de repérer des motifs suspects susceptibles de constituer des anomalies typographiques. Une structure de motifs hors profil (pouvant correspondre à un faux ou à une évolution de style) pourra être localisée par reconnaissance \ suppression de structures récurrentes, véritables traits du style de composition obtenus par extraction automatique préalable de la base de données [Bascol et al., 2016] (à l’aide d’une architecture d’auto-encodeur non symétrique). La présence dans l’ornement d’une vignette ne figurant pas dans le catalogue (un faux) ou inhabituelle (mise à jour d’un dictionnaire – à construire – des vignettes utilisées par l’éditeur) pourra être identifiée dans l’ornement-requête après décomposition élémentaire en vignettes. Connaissant le profil de l’éditeur et les vignettes constitutives de l’ornement composé, une recomposition automatique destinée à mimer une composition originale sera appréhendée [Makhzani et al., 2015 ; Lample et al., 2017], réduisant ainsi le problème au jeu des erreurs (entre l’ornement-requête et l’ornement recomposé).  

Perspectives

La base issue du projet, exposant les résultats, sera diffusée en open access sur un site hébergé par Huma-Num adossé à l’édition numérique des archives de Marc Michel Rey (déjà hébergée par Huma-Num). Elle sera associée à un démonstrateur, permettant les requêtes, la recherche d’images similaires dans la base de données et la détection / visualisation de régions d’intérêts présentant ou susceptibles de présenter des anomalies dans une image-requête.

La segmentation d’anomalies est une problématique récente de la vision par ordinateur. Le contexte de l’authentification des ornements est propice à la formulation d’algorithmes originaux dans le domaine de l’apprentissage statistique et de l’analyse d’image notamment par auto-encodage. Par ailleurs, la contrainte d’une quantité de données relativement faible s’ajoute au défi d’appréhender l’idée de pouvoir se substituer à l’éditeur au moment de la composition d’un ornement.

Dans le domaine de l’histoire des idées et de l’histoire du livre, le projet permettra de mieux connaître les modes de diffusion des ouvrages et de la pensée des Lumières en contexte de censure, à l’échelle européenne, par la mise en exergue du rôle, souvent minoré, du libraire comme acteur d’un réseau par ses pratiques et politiques éditoriales.

Le portage de l’outil d’aide à l’authentification vers d’autres bases, pour analyser et interpréter des fonds patrimoniaux dans une perspective d’identification et d’authentification sera étudié dans le cadre du projet grâce au partenariat avec la base Compositor et avec la Bibliothèque municipale de Lyon, partenaire du projet.

Christelle Bahier-Porte et Thierry Fournel

Références bibliographiques

Barber G., « Modèle genevois, mode européenne : le cas de Candide et de ses contrefaçons », Cinq siècles de d’imprimerie genevoise, Genève, Société d’histoire et d’archéologie, 1980-1981, p. 49-67.

Bascol K., Emonet R., Fromont R., Odobez J.M., « Unsupervised Interpretable PatternDiscovery in Time Series Using Autoencoders ». The joint IAPR International Workshops on Structural and Syntactic Pattern Recognition (SSPR 2016), p. 427-438. Springer, Cham.  

Baur, C., Wiestler, B., Albarqouni, S., & Navab, N. (2018, September). « Deep autoencoding models for unsupervised anomaly segmentation in brain MR images ». In International MICCAI Brainlesion Workshop(pp. 161-169). Springer, Cham.

Corsini S., “Vers un corpus des ornements typographiques lausannois du XVIIIe siècle : problèmes de définition et de méthode”, Ornementation typographique et bibliographie historique, Mons et Bruxelles, Van Balberghe, 1988, p. 139-158.

Corsini, S., « La preuve par les fleurons ? : analyse comparée du matériel ornemental des imprimeurs suisses romands : 1775-1785 » ; Ferney-Voltaire, Centre international d’étude du XVIIIe siècle, 1999.

Droixhe, D., « Une contrefaçon liégeoise des Œuvres du philosophe de Sans- Souci », dans R. Bach, R. Desné, G. Hassler, éds, Formen der Aufklärung und ihrer Rezeption- Expressions des Lumières et de leur réception. Festschrift zum 70. Geburtstag v. Ulrich Ricken, Tübingen : Stauffenburg Verlag, 1999, p.161-189.

Lample, G., Zeghidour, N., Usunier, N., Bordes, A., Denoyer, L., & Ranzato, M. A. (2017). « Fader networks: Manipulating images by sliding attributes ». In Advances in Neural Information Processing Systems(pp. 5967-5976).

McKenna A. et Mori G., « Claude-François Simon, imprimeur, dit « Poppy », contrefacteur de Marc Michel Rey », publié le 25 juin 2019,  https://mmrey.hypotheses.org/778

Makhzani, A., Shlens, J., Jaitly, N., Goodfellow, I., & Frey, B. (2015). « Adversarial autoencoders ». arXiv preprint arXiv:1511.05644

Vercruysse, Jeroom, « Les impressions clandestines bruxelloises de l’Histoire philosophique des deux Indes de l’abbé Raynal (1781) », Le livre et l’estampe, 43/147 (1997), pag. 7-52.

Weiss, N., Rueckert, D., Rao, A.: « Multiple Sclerosis Lesion Segmentation Using Dictionary Learning and Sparse Coding ». MICCAI 8149(Chapter 92), 735{742 (2013). 

Wilkinson, H., ‘Printers’ Flowers as Evidence in the Identification of Unknown Printers: Two Examples from 1715’. The Library, 7th ser., 14 (2013), p. 70–79.

ANR ROIi : Rey’s Ornament Image investigation

Le projet ROIi – Rey’s Ornament Image investigation (dir. Christelle Bahier-Porte), retenu par le CE 38 de l’ANR (“La révolution numérique : rapports au savoir et à la culture”), associe des chercheurs dans les domaines de l’histoire des idées, de la littérature et de l’histoire du livre (IHRIM-UMR 5317) et de la vision par ordinateur et de l’apprentissage automatique (Laboratoire Hubert Curien – UMR 5516). L’objectif de ce projet interdisciplinaire est de concevoir une base de données des ornements du libraire Marc-Michel Rey (1720-1780) associée à un outil d’aide à l’authentification, couplant vision par ordinateur et apprentissage automatique des données, des livres publiés sous des noms ou adresses fictifs ou contrefaits au XVIIIe siècle, par l’analyse des ornements.
Ce carnet a pour vocation de présenter de manière systématique et régulière les recherches et les activités scientifiques qui se dérouleront tout au long de la réalisation du projet ROIi. II servira également de passerelle entre les partenaires.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search