多模態是甚麼？

「多模態」一詞源自英文multimodality，意思是結合超過一種模式的呈現方法，這些模式包括但不局限於文字、圖像、音頻、視頻和動畫等，現今社會使用多模態來表達已經是司空見慣的事。

在語文教育中，多模態學習 (multimodal learning) 的特點是學習內容以多種不同模態呈現，以Moreno & Mayer （2007）的定義最為全面：學習內容透過兩種不同模態的表述方式呈現，包括語言和非語言模態。

語言和非語言模態呈現的學習內容（Moreno & Mayer 2007，頁310）如下：

兩岸三地學者對multimodal有不同的翻譯，包括：「多模態」、「多形態」、「多型態」、「多模式」等等。

2. 常見的圖文關係

在教材中，最常見的多模態內容就是文字和圖片，而因應圖、文的比重不同，表達的含義多寡不同，圖文的關係可以分為四類。

四種圖文關係類型（Unsworth, 2006; Zhang, 2009）

- 圖片隸屬於文字（文字理解為主）

- 文字隸屬於圖片（圖片理解為主）

- 詳述：一種模態解釋另一種模態的內容，或者作為實例

- 拓展：一種模態補充另一種模態；兩者傳達的意義一致

圖片隸屬於文字（配圖）

文字提供主要資訊，圖片作為配圖，不提供額外資訊。

文字隸屬於圖片（圖片理解）

文字提供大概背景，

正確回答題目需要根據圖片中包含的資訊。

詳述：

一種模態為另一種模態提供詳細的闡釋

或者示例。

參考文獻：

Liu, Y. (2024). Chinese multimodal reading comprehension in a hypertext environment: Measurement and its antecedents. Unpublished PhD thesis, The University of Hong Kong, Hong Kong.

Moreno, R., & Mayer, R. (2007). Interactive Multimodal Learning Environments: Special Issue on Interactive Learning Environments: Contemporary Issues and Trends. Educational Psychology Review,19(3), 309–326.

Unsworth, L. (2006). Towards a metalanguage for multiliteracies education:

Describing the meaning-making resources of language-image interaction.

English teaching: Practice and critique, 5(1), 55-76.

Zhang, D. (2009). On a synthetic theoretical framework for multimodal discourse

analysis. Foreign Languages in China, 1(6), 24-30.