一、多模态技术辅助外语教学的理论依据
　　多模态技术辅助外语教学讨论始于对多模态话语分析理论的研究,多模态话语分析是近十年来发展并活跃于西方的一种新的话语分析方式.多模态话语分析建立在halliday的社会符号学理论基础上,分析包括语言、图像、空间以及其他语篇的资源.[1]
　　关于"多模态"的解释,Kress& van Leeuwen(1996)指出多模态是几种符号模态的同时使用;[2]Kress和van Leeuwen将对语言社会符号性(Halliday)的研究重心转移到图像(O'Toole Kress & van Leeuwen)、声音(van Leeuwen)等多模态交际手段的研究上.Kress和van Leeuwen所构建的分析视觉图像的语法框架为多模态话语分析提供了理论依据和分析方法.随着数字、网络和多媒体技术的广泛使用,曾被传统语法认为是副语言的图像、颜色、声音和动作等符号在现代交流中和语言符号一起形成更为宽泛的多模态符号资源,共同参与构建意义.Kress和van Leeuwen认为,模态可以定义为参与交际的所有渠道和媒介,除了传统的语言符号,它还包括图象、颜色、音乐、技术等符号系统.各种符号资源(如有声语言、形象、声音、设计、动作等)共同参与日常的人际交往活动中,形成了多模态交流.多模态性(Multimodality)是现代社会各式各样语篇的一大特色.在数字化时代,不同的模态在意义再现层面上在起着同样的作用(Kress&van Leeuwen,2001:2).[3]
　　国内众多学者研究多模态与外语教学的关系.李战子(2003)认为多模态指的是"除了文本之外,还带有图像、图表等的符号话语、或者说任何由一种以上的符号编码实现意义的文本".[4]胡壮麟等(2007)对2005年中国人民大学在澳大利亚文化节上的一次PPT演示竞赛的23个参赛作品进行了分析;[5]顾曰国(2007)在研究中剖析多媒体学习和多模态学习的两个概念.[6]
　　张德禄(2009)根据系统功能语言学理论建立了一个多模态话语分析的综合框架,关于多模态话语理论与媒体技术在外语教学中的应用方面的研究,张德禄(2009)指出,在现代技术条件下,在多模态话语交际的框架下,对模态的选择可以:(1)为外语教学提供尽可能真实的教学情景和便利条件,提高教学效率;(2)为外语教学提供辅助条件,提高教学效率;(3)为多模态话语交际提供多通道话语意义的表达方式.[7]
　　随着现代教育技术的不断发展,基于网络资源多媒体多模态技术的使用将对英语教学改革产生深远的影响.在语言教学过程中,言语与手势、面部表情与语音识别、面部表情与语音综合等多种模态的互补研究等将是多模态话语分析研究的一大发展趋势.
　　二、多模态技术辅助外语教学的应用
　　多模态技术具备了信息载体的多样性、集成性、交互性、多维性、分布性等特点,它可将虚拟变现实,将抽象变具体.在外语课堂教学中,多模态技术制作的课件可整合各教学目标,激励学生积极思维和多方位吸取知识以达到理想的教学效应.多模态技术在外语课堂教学中的应用主要体现在以下几方面.
　　1.利用技术构建信息资源的多样性
　　外语教学应该借助多种信息资源,容视、听、触、嗅、味等多感官刺激为学习者提供了一个声、像、图、文环绕的交互式语言环境,激活学生知识体系中已有的相关经验,并借助多模态的互动效果,引导学生了解、探讨、研究与语言相关的文化现象,从多维的角度理解语言,分析语言.采用多模态技术可以同时构建多种信息资源,传统教学以课本为主要教学资源,教学内容严重不足,限制了教学过程中对教学资源的拓展使用;而基于网络资源的外语课堂教学,网络教学资源配合教材内容使用,其信息资源以文本、图片、动画、音频、视频等形式给教学提供了多元内容,如文化、语言、宗教、地域、历史、语境等,充分展示了信息资源多样性的优势.
　　多模态设计的PPT可以通过视觉和听觉提供文字、语音、图形、图像、录像等,利用视频、口头、书面语言等引导,选择性补充该语言相关的地理环境、民间传说、寓言神话、社会历史发展、风俗习惯、宗教信仰、价值观念、科学技术、文学艺术等文化内容等,使其达到接近最佳的教学效果.而学生先前积累的文化因素往往通过教师设计真实、针对性、具有可操作性的任务引导,一方面加深对语言的理解,另一方面将逐渐积累的文化知识系统化,让学生在轻松自然的环境里习得了语言.
　　2.利用技术构建多通道的信息传递
　　采用多模态技术可以同时构建多种感知模态,如视觉和听觉等,在同样的教程时间内将信息内容形象化、具体化、多样化,具备生成和还原语言符号背后的现实(虚拟的现实)的能力及呈现语言符号外延意义和内蕴意义的能力,其优势是有利于从各个角度展示资源的多通道性.
　　语言学习是一种习得过程,习者各个感官的充分调动很有必要.关于语言学习与学习者感觉、学习、记忆之间的关系有研究表明:学习者接受信息的通道来自味觉、触觉、嗅觉、视觉、听觉等,而主要来自视觉.人的记忆系统是一个感觉器官多达25个且非常复杂的系统,学习的过程可以分为视觉或听觉输入、大脑处理、语言输出等过程.人在学习或生活中,感觉器官会作为整体进行运作.多模态英语教学课件的广泛使用源于其信息载体的多样性、集成性、交互性、分布性和数字化的特点,可以集文字、图象、动画、声音、影象于一体,不仅信息传递量大且多维,可整合多种教学目标,提供灵活的教学方式,充分调动学生的各个感官,促使学生积极思维,实现立体教学.[8]
　　使用多媒体模态技术辅助外语教学,以多模态PPT课件的制作为例,PPT课件不仅可以展示语言材料,还可以同时配合有声材料、视频材料等,这是传统教学不能比拟的.在外语课堂教学中对PPT多模态技术使用较多的是视觉模态、视听组合模态和视频模态等.
　　PPT视觉模态结合教材,展示给学生较完整的背景资料;采用视觉模态讲解课文能使学生在虚拟的情景中提高思维判断能力,比较合理地理解作者的意图和人物的心理.在课堂中使用视听组合模态可以营造立体的教学环境.从语音文字的角度讲,可以通过录音、录像、电影、多媒体软件提供语音环境,提高对真实语音和文字的辨别能力,从而提高学习效率和学生的交际能力.视频模态使用较多的是动画、新闻、电影等视频,视频模态的使用可以刺激大脑的立体思维、线性思维等,促使学生对语篇的理解产生系统和深刻的概念.
　　多模态信息传递具有的共时性、承载信息量丰富的特点能使多种感官参与学习,有利于提高学习的效率.教师可以借助多模态技术提供的视觉的、听觉的等多种体验和多感官刺激为学生提供了一个声、像、图、文环绕的交互式语言环境,灵活处理各种信息并进行意义的构建和传递.
　　3.利用技术构建语境
　　语境即言语环境,它包括语言因素,也包括非语言因素.上下文、时间、空间、情景、对象、话语前提等与语词使用有关的都是语境因素.在外语教学中,对语言意义的解释,教师使用较多的是与语言密切相关的上下文语境及情景语境的分析方面.上下文语境是指与本词语有关系的前后词语或本句话前后的语句.情景语境则指说话时的人物、背景,包括说话双方牵涉到的人或物、时间处所、社会环境以及说听双方的辅助性交际手段(包括表情、姿态、手势等非语言因素).
　　语言在一定的语境中运用并体现出特定的意义,而语境则为理解语言服务.多模态技术辅助外语教学有利于提供各种新的语境因素.它可以通过文字、图画、动画、录像等手段提供背景信息和现场语境信息.外语课堂上虽然不能提供真实的社会交际环境,但就语境设计来说,多模态技术可以提供尽可能真实的语境,使学生可以直接参与到交际当中;借助多模态技术可以提供上下文、相关文、内嵌文、共时文、超级文等互文语境.
　　三、多模态设计与教学原则
　　利用多媒体多模态辅助外语教学的关键问题之一在于处理多媒体资源与多模态输入与产出之间的关系,恰当地处理好多媒体资源与多模态的输入与产出之间的关系就是对计算机辅助外语教学的优化.
　　多模态课件的设计制作应遵循科学性、实用性、辅助性、简约性以及交互性的原则;多模态外语教学要求教师设计真实、针对性、具有可操作性的任务并更加形象生动的对学生传授语言和文化知识.教师对多模态课程设计与教学原则的掌握使用必须注意:
　　(1)模态的选择要充分考虑教学内容所涉及的领域(话语范围)、所教课程内容的重点、难点、体裁、教学方法以及教学的条件(如设备条件、教学环境、传播渠道等).
　　(2)各模态的配合应符合读者的认知规律,搭配、组合与和谐,以利于最大限度地调动读者的多感官协调参与.多模态外语教学必须考虑如何处理好模态内部媒体之间的关系,如纸质书本与PPT课件的关系,声音、视频、版面设计间的关系等等.媒体(图片、音频、动画等)的选用应贴合主题的需要,做到主次分明.
　　(3)提供尽量真实的语境,提供尽可能真实的语料;在真实语境的前提下,创造交流语境,以教师为主导,引导学生积极参与.
　　(4)文本内容以简明的词语概括出主要的和次要的论点,将内容分类、压缩、提炼、纲目化,按照文本的内在逻辑将其划分成不同的模块.选择不同的模态时,要考虑不同模态之间的相互配合,以获得最佳搭配为标准.
　　(5)多模态学习的强度不能太过,过少的模态使用没有发挥多媒体多模态课件的作用,而使用过频,容量太大没有给学生留有缓冲时间,不仅学生无法完全接受所学内容.反使学生处于不稳定状态中,影响学生的情绪,不利于对内容的理解掌握,因为长时间的全身心学习会让学生感到疲惫和乏味.
　　(6)根据实际情况随时调整和修改课件内容,教师授课注意课件的展示,如展示时间控制不当,屏幕上内容一屏一屏稍纵即逝,学生对本课的重点、难点的把握受到影响.
　　(7)要求任课教师认真钻研教材,根据课程和学生需要,借助网络资源库收集各种素材,包括视频资料、图片、声音、动画等编制课件.教师授课注意引导学生进入多模态学习环境,以求达到最佳的教学效果.
　　四、结语
　　目前,多模态技术辅助大学外语课堂教学已逐渐展示了它的成效.这种新的教学模式以现代技术为支撑,体现了教学的实用性、文化性和趣味性相融合的原则,可以将抽象的内容具体化,深奥的内容浅显化,枯燥的内容趣味化.利用多模态技术辅助教学可以充分发挥教师的主导作用,提高了教学的效率,尤为重要的是增长扩大了学生的文化知识面.多模态技术辅助课堂教学的优势在培养适应多元文化的通式人才方面呈现了广阔的前景.
　　参考文献:
　　[1]Halliday,M.A.K.Language as a Social Semiotic[M].London:Arnold,1978.
　　[2]Kress,G.& van Leeuween,T.Reading Images:The Grammar of Visual Design[M].London:Routledge,1996.
　　[3]Kress,G.&van Leeuwen,T.Multimodal Discourse:The Modes and Media of Contemporary Communication[M].London:Arnold,2001.
　　[4]李战子.多模式话语的社会符号学分析[J].外语研究,2003,(5):1-8.
　　[5]胡壮麟,董佳.意义的多模态构建--对一次PPT演示竞赛的语篇分析[J].外语电化教学,2006,(3).
　　[6]顾曰国.多媒体、多模态学习剖析[J].外语电化教学,2007,(2).
　　[7]张德禄.多模态话语理论与媒体技术在外语教学中的应用[J].外语教学,2009,(4).
　　[8]董艇舰,吴玉侠,臧志辉.多媒体英语教学改革的思考[J].河北工业大成人教育学院学报,2002,(3):22-23,26.