1. 多模態是甚麼？

「多模態」一詞源自英文multimodality，意思是結合超過一種模式的呈現方法，這些模式包括但不局限於文字、圖像、音頻、視頻和動畫等，現今社會使用多模態來表達已經是司空見慣的事。

在語文教育中，多模態學習 (multimodal learning) 的特點是學習內容以多種不同模態呈現，以Moreno & Mayer （2007）的定義最為全面：學習內容透過兩種不同模態的表述方式呈現，包括語言和非語言模態。

語言和非語言模態呈現的學習內容（Moreno & Mayer 2007，頁310）如下：

兩岸三地學者對multimodal有不同的翻譯，包括：「多模態」、「多形態」、「多型態」、「多模式」等等。

2. 常見的圖文關係

在教材中，最常見的多模態內容就是文字和圖片，而因應圖、文的比重不同，表達的含義多寡不同，圖文的關係可以分為四類。

四種圖文關係類型（Unsworth, 2006; Zhang, 2009）

- 圖片隸屬於文字（文字理解為主）

- 文字隸屬於圖片（圖片理解為主）

- 詳述：一種模態解釋另一種模態的內容，或者作為實例

- 拓展：一種模態補充另一種模態；兩者傳達的意義一致

圖片隸屬於文字（配圖）

文字提供主要資訊，圖片作為配圖，不提供額外資訊。

文字隸屬於圖片（圖片理解）

文字提供大概背景，

正確回答題目需要根據圖片中包含的資訊。

詳述：

一種模態為另一種模態提供詳細的闡釋

或者示例。

拓展：

一種模態添加新的資訊以豐富另一種模態，資訊用作補充，兩者傳達的意義一致。

3. 設題的考慮：圖文信息

為了考核學生是否理解「圖+文」的關係，我們可以設閱讀理解題來考核。而在設多模態閱讀題目的時候，可考慮圖內信息的清晰程度，以下為不同學習階段的實例和建議：

- KS1（小一至小三）：

學生較少接觸或閱讀圖片，選圖時可考慮有適當的資訊，表達清晰的圖片，不宜過深或不宜過淺。

例子：

- KS2（小四至小六）：

學生較少解讀圖片，所以對圖片的理解有時候南轅北轍，建議日常教學可就圖片稍加說明和指導，提升學生對圖片的解讀能力和圖文關係的理解能力。設題時可注意圖片的情境和文字是否配合，如能有清晰的界限，就可以限定範圍，避免學生天馬行空。

例子：

（圖3：山火導致動物失去家園）

以上圖為例，我們在學生訪談的時候，發現個別高年級學生未能把圖片內容和標題「山火導致動物失去家園」連繫起來，反而出現各種大異其趣的答案。例如：

「因為看起來像媽媽很珍惜它的兒子，後面的山火像表現得像特效一樣，真正的意思是想突出這隻猴子想保護它的幼子。」

「可以是避難，也可以是其他，就是千千萬萬的可能性。」

「如果不要下面的文字，我會以為是火災，猴子媽媽帶著猴子的兒子逃生，就不知道失去家園。」

「我完全不知道他在說什麼，只是看見兩隻猴子和一些正在燃燒的樹木。」

以填寫工作紙形式，請學生判斷圖的難易程度，有學生指此圖的難度中等，指圖的內容是：「人BBQ時沒有火。」

劉亞萍博士

參考文獻：

Liu, Y. (2024). Chinese multimodal reading comprehension in a hypertext environment: Measurement and its antecedents. Unpublished PhD thesis, The University of Hong Kong, Hong Kong.

Moreno, R., & Mayer, R. (2007). Interactive Multimodal Learning Environments: Special Issue on Interactive Learning Environments: Contemporary Issues and Trends. Educational Psychology Review,19(3), 309–326.

Unsworth, L. (2006). Towards a metalanguage for multiliteracies education:

Describing the meaning-making resources of language-image interaction.

English teaching: Practice and critique, 5(1), 55-76.

Zhang, D. (2009). On a synthetic theoretical framework for multimodal discourse

analysis. Foreign Languages in China, 1(6), 24-30.