1. 多模态是什么？

「多模态」一词源自英文multimodality，意思是结合超过一种模式的呈现方法，这些模式包括但不局限于文字、图像、音频、视频和动画等，现今社会使用多模态来表达已经是司空见惯的事。

在语文教育中，多模态学习(multimodal learning) 的特点是学习内容以多种不同模态呈现，以Moreno & Mayer （2007）的定义最为全面：学习内容透过两种不同模态的表述方式呈现，包括语言和非语言模态。

语言和非语言模态呈现的学习内容（Moreno & Mayer 2007，页310）如下：

两岸三地学者对multimodal有不同的翻译，包括：「多模态」、「多形态」、「多型态」、「多模式」等等。

2. 常见的图文关系

在教材中，最常见的多模态内容就是文字和图片，而因应图、文的比重不同，表达的含义多寡不同，图文的关系可以分为四类。

四种图文关系类型（Unsworth, 2006; Zhang, 2009）

- 图片隶属于文字（文字理解为主）

- 文字隶属于图片（图片理解为主）

- 详述：一种模态解释另一种模态的内容，或者作为实例

- 拓展：一种模态补充另一种模态；两者传达的意义一致

图片隶属于文字（配图）

文字提供主要资讯，图片作为配图，不提供额外资讯。

文字隶属于图片（图片理解）

文字提供大概背景，

正确回答题目需要根据图片中包含的资讯。

详述：

一种模态为另一种模态提供详细的阐释

或者示例。

拓展：

一種模態添加新的資訊以豐富另一種模態，資訊用作補充，兩者傳達的意義一致。

3. 设题的考虑：图文信息

为了考核学生是否理解「图+文」的关系，我们可以设阅读理解题来考核。而在设多模态阅读题目的时候，可考虑图内信息的清晰程度，以下为不同学习阶段的实例和建议：

- KS1（小一至小三）：

学生较少接触或阅读图片，选图时可考虑有适当的资讯，表达清晰的图片，不宜过深或不宜过浅。

例子：

- KS2（小四至小六）：

学生较少解读图片，所以对图片的理解有时候南辕北辙，建议日常教学可就图片稍加说明和指导，提升学生对图片的解读能力和图文关系的理解能力。设题时可注意图片的情境和文字是否配合，如能有清晰的界限，就可以限定范围，避免学生天马行空。

例子：

（图3：山火导致动物失去家园）

以上图为例，我们在学生访谈的时候，发现个别高年级学生未能把图片内容和标题「山火导致动物失去家园」连系起来，反而出现各种大异其趣的答案。例如：

「因为看起来像妈妈很珍惜它的儿子，后面的山火像表现得像特效一样，真正的意思是想突出这只猴子想保护它的幼子。」

「可以是避难，也可以是其他，就是千千万万的可能性。」

「如果不要下面的文字，我会以为是火灾，猴子妈妈带着猴子的儿子逃生，就不知道失去家园。」

「我完全不知道他在说什么，只是看见两只猴子和一些正在燃烧的树木。」

以填写工作纸形式，请学生判断图的难易程度，有学生指此图的难度中等，指图的内容是：「人BBQ时没有火。」

刘亚萍博士

參考文獻：

Liu, Y. (2024). Chinese multimodal reading comprehension in a hypertext environment: Measurement and its antecedents. Unpublished PhD thesis, The University of Hong Kong, Hong Kong.

Moreno, R., & Mayer, R. (2007). Interactive Multimodal Learning Environments: Special Issue on Interactive Learning Environments: Contemporary Issues and Trends. Educational Psychology Review,19(3), 309–326.

Unsworth, L. (2006). Towards a metalanguage for multiliteracies education:

Describing the meaning-making resources of language-image interaction.

English teaching: Practice and critique, 5(1), 55-76.

Zhang, D. (2009). On a synthetic theoretical framework for multimodal discourse

analysis. Foreign Languages in China, 1(6), 24-30.