La réception d’un roman augmenté pour adolescents - Brehm, Sylvain; Marie-Christine Beaudry (Revue de recherches en littératie médiatique multimodale, 2016)
Cet article rend compte d’une recherche exploratoire visant à décrire la réception du premier volume de la série Skeleton Creek, de Patrick Carman, auprès d’élèves de la première année du secondaire. Cette série propose des récits relatés alternativement, à partir du point de vue de chaque personnage, et sur deux supports (papier et écran). La lecture de chaque chapitre du journal, présentant le récit d’un des personnages, est suivie du visionnement d’une vidéo réalisée par un autre protagoniste, accessible sur un site Internet grâce à des mots de passe contenus dans le livre. Les résultats, dégagés par une analyse de contenu, ont été obtenus grâce à un journal de lecture et à des entretiens semi-dirigés. Ils mettent en relief trois modalités de la lecture des élèves : le processus de construction du sens, l’immersion fictionnelle et la faible adhésion au pacte de lecture préconisé par l’auteur.
Keywords: lecture numérique; multimodalité; relation texte/image; roman pour adolescents

L’album documentaire : quelle construction de l’information entre texte et image? - Leclaire-Halté, Anne (Revue de recherches en littératie médiatique multimodale, 2015)
Les albums documentaires font partie du secteur éditorial de la littérature de jeunesse. Très peu d’études leur sont aujourd’hui consacrées, alors même que les collections évoluent en même temps que les savoirs et la médiation livresque entre ces derniers et le jeune lecteur. Ouvrages multimodaux, composites (Bautier, Crinon, Delarue-Breton et Marin 2012), se différenciant parfois peu de la production fictionnelle, ils nécessitent des compétences de lecture liées à leur particularité plurisémiotique (ils peuvent mêler textes, photos, images, schémas…). L’article qui suit s’appuie sur la comparaison de deux doubles pages d’albums documentaires pour préciser, dans une perspective à la fois sémiotique et cognitive, la façon dont se joue la complémentarité du texte et de l’image dans la construction de l’information par le lecteur, tant au niveau global de l’organisation de la double page (entre titre, éléments textuels et iconiques) qu’à un niveau plus local (traitement du rapport générique/particulier, degré d’intersection variable entre texte et image, complémentarité texte/image dans l’informativité).
Keywords: construction de l’information; documentaire; littérature jeunesse; relation texte/image; sémiotique

Image–language interaction in online reading environments: challenges for students’ reading comprehensio - Eveline Chan; Len Unsworth (The Australian Association for Research in Education, 2011)
This paper presents the qualitative results of a study of students’ reading of multimodal texts in an interactive, online environment. The study forms part of a larger project which addressed image–language interaction as an important dimension of language pedagogy and assessment for students growing up in a multimedia digital age. Thirty-two Year 6 students representing a sample of high, medium and low performers on an Australian state-wide school literacy test were surveyed about their internet usage and interviewed using a structured protocol while working online through a selection of materials from an educational website. Findings from the earlier stages of the project indicated that different types of image-text relations vary in the degree of difficulty they pose for students’ reading comprehension. This phase of the project extended the analysis of image-text relations to online, interactive texts. Student performance on online reading tasks and interview data are used to illustrate some of the complexities students encounter when reading online, and how this may vary with factors such as their day-to-day literacy experiences and levels of engagement. The results have implications for literacy pedagogy and assessing the reading of web-based texts. Keywords : Online reading  Image-text relations  Reading hypertext Reading comprehension  Literacy instruction  Literacy assessment
Keywords: compréhension; évaluation; lecture numérique; relation texte/image

Some Ideas for Modelling Image-Text Combinations - Andrew Salway; Radan Martinec (School of Electronics and Physical Sciences Department of Computing, 2005)
The combination of different media types is a defining characteristic of multimedia yet much research has concentrated on understanding the semantics of media types individually. Recently, systems have been developed to process correlated image and text data for tasks including multimedia retrieval, fusion, summarization, adaptation and generation. We argue that the further development and the more general application of such systems require a better computational understanding of image-text combinations. In particular we need to know  more about the correspondence between the semantic content of images and the semantic content of texts when they are used together. This paper outlines a new area of multimedia research focused on modeling image-text combinations. Our aim is to develop a general theory to be applied in the development of multimedia systems that process correlated image and text data. Here, we propose a theoretical framework to describe how visual and textual information combine in terms of semantic relations between images and texts. Our classification of image-text relations is grounded in aesthetic and semiotic theory and has been developed with a view to automatic classification.
Keywords: relation texte/image

A taxonomy of relationships between images and text - Emily E. Marsh; Marilyn Domas White (Journal of Documentation, 2003)
The paper establishes a taxonomy of image-text relationships that reflects the ways that images and text interact. It is applicable to all subject areas and document types. The taxonomy was developed to answer the research question: how does an illustration relate to the text with which it is associated, or, what are the functions of illustration? Developed in a two-stage process – first, analysis of relevant research in children’s literature, dictionary development, education, journalism, and library and information design and, second, subsequent application of the first version of the taxonomy to 954 image-text pairs in 45 Web pages (pages with educational content for children, online newspapers, and retail business pages) – the taxonomy identifies 49 relationships and groups them in three categories according to the closeness of the conceptual relationship between image and text. The paper uses qualitative content analysis to illustrate use of the taxonomy to analyze four image-text pairs in government publications and discusses the implications of the research for information retrieval and document design.
Keywords: lecture numérique; relation texte/image