FdeL : Stockinger (2018) Mise en scène multimodale

Résumé :

Il arrive à définir un modèle de linked open and structure date pour créer automatiquement des récits à partir des corpus documentaires grâce à la théorie de graphs, à son exposition grâce au modèles de données du projet mémomines et les interfaces de l’application OPALE et OKAPI pour l’indexation de données audiovisuelles.

Dans son texte il commence avec un cadre théorique ou il divise le design de l’expression de celui du sens. Le design du sens donne lieu à la création d’ontologies pour la création de données ouvertes et liées dans des projets de recherche. Le design de l’expression, donne lieu a une autre ontologie, aussi sémantique, mais plus formelle, de modèles rhétoriques mais aussi liées à l’interface graphique. Il arrive donc a proposer une méthode très opérationnelle pour éditorialiser narrativement le corpus de données audiovisuelles des mines, en numérique.

Il conclut que la création de cet outil “auteur” implique créer des données qui sont conscientes de leur valeur symbolique et leur forme d’expression. Cela permet de éditorialiser grâce aux balises des étapes narratives ouvre des possibilités d’automatisation de création de récits, d’appropriation de fonds d’archive nationales par le public grâce à leur possibilité de créer des récits avec.

Cadre théorique :

Il commence par une définition conceptuelle des ce qu’il entends comme design de l’information, son antécédent le “technical writting” et sa division, influencé du structuralisme (le design du sens et le design de l’expression). Il se concentre par la suite premièrement sur le design de sens puis sur le design d’expression.

Design de sens

Explication du modèle : Dans le contexte des données ouvertes et liées (web sémantique), lier de données -> expliciter le sens dans un contexte précis, par rapport à la position et la configuration des [triplets] auxquelles elle appartient. Dans la formalisation d’un graph : un concept, des ensembles de concepts, des individus ou des valeurs génèrent des boites qui peuvent avoir des relations d’instanciation entre elles. Puis des lignes définissant à la fois le type de rapport et l’orientation du rapport. <!– faire un schéma –>

Problématique : Comment réaliser une bibliothèque de modèles sémantiques pour un domaine (une ontologie ?) ? 3 problématique d’identification et définition :

1. base canonique rend compte d’un objet de connaissance donnée.
2. hierarchie de concepts. Quels concepts contiennent des “sous-concepts”
3. Variété´, occurrences et individus : concevoir associer des thésaurus à des familles appropriées.
4. Relations entre concepts ou des configurations et leur hiérarchie.
5. Adaptabilité du modèle au besoin de l’analyste (technique existante par John Sowa)
6. Portabilité du modèle (réutilisation des parties avec plusieurs projets d’analyse) et interopérabilité (avec des ontologies existants dans d’autres projets d’ingénierie documentaire) pour restituer le champs intertextuels entre plusieurs corpus.

L’intérêt est de produire des description sémantiques qui respectent les règles et vocabulaire du modèle pour un corpus données, s’adaptant au corpus et à l’analyste.

Pour cela il distingue :

• théorie empirique du domaine -> celle du domaine étudié <!– dans mon cas, par exemple la narratologie –>
• Théorie formelle de représentation : lexique, grammaire et signes d’expressions définis par John Sowa pour structurer des connaissances en forme de graph.

Ils définissent une méthode de comment obtenir des sujets généraux, des concepts généraux, des relations hiérarchiques avec des valeurs précises. Celles-ci sont mise en commun avec celle de l’ontologie de l’atelier sémiotique audiovisuelle de l’INA). Il expose la méthode mise en pratique dans le domaine des Mines de Charbon du Nord de la France, avec le modèle de données, les hierarchies et le thésaurus résultant. Avec cet exemple il arrive à une définition plus complète de design de sens (cf. Concepts)

Design d’expression

Mise en scène naturelle, un design qui est là non-intentionnellement, avec des signes concrets. il y a :

• “l’information design” : se développe au moins à partir des années 60’s. Il sert a mettre une visualisation schématique, assimilables a des connaissances complexes, soit de forme analogiques ou métaphoriques. (p. 24). par exemples cartes mentales
• Data visualisation : visualisation de grandes masses de valeur à variables qualitatifs, notamment sous forme de graphes dans l’espace. /idem
• “visualisation de vues” ou de “point de vue” : portant pas sur les données maiss sur le métadonnées, souvent textuelles résultantes d’un certain nombre interprétations. (des interfaces utiles du point de vue d’analyste de données)
• Visualisation des données textuelles “elles mêmes”, pour lui il y a toujours un habillage qui se fait sur le texte. Le changement d’habillage entraîne souvent : document repurposing (ré-ingénierie documentaire, réécriture, ré-éditorialisation ou encore republication) <!– lier à la notion de éditorialisation, il semblerait que pour lui la question de l’éditorialisation est principalement d’habillage. –> (p. 28) Il donne l’exemple des remix, des vidéos sur internet.

L’éditorialisation narrative :

Le repurposing de vidéos a souvent le but de convaincre, elle s’appuie sur des “pratiques rhétoriques for anciennes et traditionnelles qui sont transversales à toute activité de communication, à tout écosystème de communication. (p. 28) Pour lui une de ces techniques est le “visual storytelling“, le “visual data storytelling” et les mash up.

Le scénario narratif : typiquement organisé en parcours narratif simples -succession linéaire, arboréscents-choix, conditionnés… Dans un parcours narratif, selon la théorie de graphs et Stockinger, chaque étape correspond à un sommet puis chaque arrête un chemin. Une étape peux aussi se subdiviser, pour se composer ainsi d’un autre graph.

l’objet narration incluant d’une manière élémentaire une typologie minimale des étapes narratives et des chemins narratifs menant d’une étape à une autre. Une telle ontologie élémentaire de la narration pourra ensuite être complexifiée, enrichie. <!– est-ce une étape narrative les étapes des épisodes? quel ontologie élémentaire, celle narrative ? –>

Stockinger, p. 30

Étapes pour la construction d’un récit à partir de données :

1. Identification des étapes narratives (sommets des graphs)
2. Identification des chemins entre les étapes (arrêtes des graphes)
3. Création de l’ontologie élémentaire de la narration
4. Mise en correspondance de cette ontologie avec le corpus documentaire
5. Intégrer des métadonnées décrivant le corpus, chaque donnée nécessite que les spécifications thématiques, narratives, discursives, rhétoriques, visuelles et sonores
6. Définir le modèle de visualisation en précisant la mise en scène. (des composants de l’interface graphique définis sémantiquement grâce à l’ontologie de la narration et d’éditorialisation).

Citations :

La théorie des graphes conceptuels définit en effet un langage de représentation de connaissances qui possède son « lexique », sa « grammaire » et ses signes d’expression. Ce langage est formellement défini. John Sowa montre comment exprimer un graphe dans la logique des prédicats et des logiques modales incluant la logique temporelle. Un graphe conceptuel n’est pas une simple représentation graphique (…) [c’est] un outil de structuration de connaissances [.]

Stockinger, p. 14

l’ontologie est un « gros graphe » qui représente le modèle sémantique (ou conceptuel) d’un domaine de connaissance générique et/ou spécifique. Les arrêtes entre les concepts et/ou occurrences, valeurs, individus etc. proviennent du treillis des relations, les concepts du graphe proviennent du treillis de concepts du domaine et les valeurs ou occurrences proviennent du thésaurus du domaine.

Stockinger, p. 22

Pour réaliser un visual story telling sur la mise en scène de la visite d’une mine comprise comme un lieu de travail, il nous faudra :

1. un modèle conceptuel du monde des mines ;
2. un contenu approprié sous forme de corpus de segments vidéo ;
3. un scénario narratif de narration selon lequel le contenu sera mis en récit, relaté ;
4. un modèle de visualisation (lato sensu) du récit de la visite d’une mine et des éléments du corpus d’analyse qui peuvent servir de documentation de cette visite. <!– ça c’est la partie que je comprends le moins)

Stockinger, p. 29

qu’une donnée textuelle (lato sensu) devrait être, métaphoriquement parlant, « conscient » de sa structure sémantique, des différentes manières et stratégies qu’il utilise pour exprimer, mettre en scène son contenu et de l’environnement sémiotique dans lequel il agit. Ainsi, en étant en quelque sorte « conscient » de son profil et de sa place dans un environnement donné, il pourrait interagir avec d’autres textes et/ou avec un acteur humain ou automate pour contribuer non seulement à la production, à la génération de toutes sortes de récits mais aussi d’environnements signifiants, d’allosphères inclusifs qui font échos aux souhaits, besoins, intérêts, désirs, imaginations d’un acteur. Bref, l’image de référence ici est celle des textes qui sont à la fois des ressources cognitives et des agents regroupés en communautés, en sociétés à thème, axiologiques et contractuelles (en référence aux recherches en intelligence artificielle distribuée et sur les sociétés artificielles).

Stockinger, p. 32

Concepts :

Design de l’information :

” technique de l’expression ou de la mise en scène (visuelle : graphique, …) de l’information qui, aujourd’hui, a massivement recours aux logiciels et outils numériques de visualisation (services web, API, … “

Technical writting : structurer, visualiser, publier, mettre à jour de informations spécialisés
{ – plan de projet
– structure de document
– rédaction progressive (visualisation, évaluation et correction)
– publication } <!– d’où sort t’il que c’est du technical writting > design d’information –>

Visualisation de données => Projet éditorial {

• des objectif
• une catégorie de destinataires <!– usagers –>
• Satisfaire un ensemble d’usage }

Design ≈ modélisation ≈ spécifications de modèle et le modèle en lui même (Scénario, schéma, script…)

Modèle : une image mentale d’un objet intentionnel.

Deux types de design d’information :

Design de contenu	Design de l’expression
pratique du design de sens, contenu, valeur d’un corpus de données textuelles (Univers sémantique). Le point de vue, la vision mentale qui motive la composition d’un échantillon de données.	pratique du design d’expression, de la mise en scène visuelle : un ensemble de techniques de représentation graphique de la valeur d’un ensemble de données.<!– attacher au concept de mimesis–> « pour orienter, influencer, rendre plus compréhensible la perception et compréhension du sens par un public donnée. (p. 5) »
Problèmes particuliers de “description sémantique”	Problématique de élaboration et usage de langages visuels.
Techniques : Cartographie sémantique, analyse conceptuelle, analyse de connaissance. Outils : réseaux sémantiques	Schéma, modèle. script.

Design de sens :

1. Le design du sens (de la valeur) d’un domaine, c’est la définition d’un modèle de connaissance d’un domaine donné, i.e. d’une structure de connaissances qui nous est nécessaire pour réaliser les objectifs d’un projet donné.

2. Ce modèle peut être exprimé dans un langage de graphes conceptuels (Sowa).

3. Mais le modèle lui-même, sa structure, est le résultat d’un travail empirique reposant sur la prise en compte d’un corpus de données qui documente le domaine à modéliser ainsi que les objectifs et les contextes d’usages ou d’exploitations.

4. Ce travail empirique présuppose la référence à un cadre théorique qui offre une vision générale et à priori (mais toujours révisable, bien sûr !) des données à modéliser.

5. Si la structure de connaissances spécifiée doit être exprimée dans un langage de graphes, il faut prendre en considération les contraintes de ce langage (plus ce langage est formellement ou syntaxiquement explicite, plus la structure de connaissances sera explicite mais plus les contraintes à respecter seront importantes)

6. La qualité du modèle, de la structure des connaissances dépend directement de sa valeur empirique et de son caractère formellement explicite mais elle dépend également de son interopérabilité et de sa dérivation explicite d’une ontologie fondationnelle.

Stockinger, p.23

Utilité :

• Outils d’analyse de corpus audiovisuels (images statiques, vidéos, animations, cartes, etc.)
• Résultat : corpus de segments vidéo et de régions visuels thématiquement annotés. Regroupés selon de classes, mise en relation avec des constellations d’éléments documentaires, réédites et republiés selon des formats choisis, etc. (p. 16)
• Méthode : <!– utile de reprendre ces étapes pour ma méthodo –>
  1. analyse d’un échantillon,
  2. identification et explicitations de principales situations pro-filmiques
  3. spécifications des familles (guide pour localiser, segmenter, classer, analyser et enrichir) des vidéos externes au premier échantillon <!– test ? –>, (les catégories thématiques des documents)
  4. définition d’une ontologie -modèle de données uniforme- (objets, relations, thésaurus, individus…),
  5. spécification modèle d’analyse (famille de sujets, modèle textuel, etc(
  6. développement, test et validation du modèle d’analyse et publication (portail, dossier thématique, etc.)
  7. Ouverture de l’interface de consultation au public
  8. amélioration, enrichissement de l’ontologie et modèle d’analyse

Il explique comment transformer un corpus documentaire dans un récit avec une ontologie et l’indexation.

Bibliographie à consulter :

1. Beloued, Abdelkrim, Stockinger, Peter, Lalande, Steffen: Studio Campus AAR: A Semantic Platform for Analyzing and Publishing Audiovisual Corpuses; in: Szoniecky, Samuel Nasreddine Bouhaï (éds.): Collective Intelligence and Digital Archives: Towards Knowledge Ecosystems. Hoboken, Wiley/ISTE 2017
2. Lalande, Steffen, Beloued, Abdelkrim Stockinger, Peter. Modélisation et formalisation RDFS/OWL d’une ontologie de description audiovisuelle ; in: Les Cahiers du Numérique, vol. 11-N°3, 2015, pp. 39 – 70
3. Stockinger, Peter. The PCI Ontology. Presentation and discussion of an ontology for the description and indexing of audiovisual resources in the field of cultural heritage of minorities and indigenous people. Specific targeted research project IST call 4 – FP6-2004-IST-4. LOGOS: Knowledge-on-Demand for Ubiquitous Learning 2007 (DOI: 10.13140/2.1.1180.5129)
4. https://onlinelibrary.wiley.com/doi/10.1002/9781119384694.ch6 > Conservation and Promotion of Cultural Heritage in the Context of the Semantic Web (Summary : This chapter presents the different knowledge resources to consider when developing a solution of cultural heritage documentation and promotion. Modeling knowledge in a cultural heritage domain is multidisciplinary and requires recourse to experts from both the computer domain and the domain in question. In the museum domain, LIDO is a metadata norm based on XML and used to facilitate the harvesting of data on museum objects. LIDO is optimized for metadata exchange between museum institutions and data aggregators. Concerning interoperability at the level of metadata harvesting, metadata harvesting institutions use knowledge models with a high level of conceptualization to describe data coming from different providers who use different local schemata. The extension of cultural heritage ontologies to represent specific semantics in the context of the project is essential for the improvement of interoperability, the satisfaction of the user’s information needs, and the contextual, spatial and temporal enrichment of data.)
5. https://onlinelibrary.wiley.com/doi/10.1002/9781119384694.ch3 (The data web seems like an efficient source concerning the recontextualization function requiring the restoration of the heritage document’s intelligibility. For years now, digital technology has been a major support for most content, particularly heritage material. The architext takes the form of a technological device intended to lend heritage value to the private individual’s archive. Differential semantics, text interpretation methodology, is mobilized here according to the premise of this approach’s compatibility with other cultural objects: “the issue of interpretation goes beyond texts and can spread to other cultural objects, like images”. Semiotic study allows us to grasp various memory indicators associated with the archive. The part of the editorialization process showcased here corresponds to the possibility in the framework of the architext of realizing a semantic annotation on the archive. The exploratory framework of the content management process applied to the archive therefore resides in an architext co‐created in the context of the CIFRE convention.)
6. http://gapai.univ-paris8.fr/ValArNum/IMG/pdf/okapi-pre_sentation_archives_nationales.pdf OKAPI ***
7. https://hal.archives-ouvertes.fr/hal-00130295/document : Digital audiovisual archives in humanities. Problems and challengesPeter Stockinger 1, 2, 3 1 ESCOM – Equipe Sémiotique Cognitive et Nouveaux Médias 2 PLIDAM EA 4514 – Pluralité des langues et des Identités : Didactique, Acquisition, Médiations 3 Inalco – Institut National des Langues et Civilisations Orientales : Presentation of the R&D Program “Audiovisual Archives of Research” created by the author of this conference and launched in 2001 thanks to the R&D project OPALES (coordinated by INA). The R&D Program “Audiovisual Archives of Research” aimed at the constitution and processing of audiovisual scientific digital audiovisual corpuses.
8. https://inalco.academia.edu/PeterStockinger

---

---