摘要：根据社会符号学的观点，人们借助由多种符号有机构成的“符号系统”进行交际。视觉语法的提出为多模态研究提供了理论依据。基于元功能理论框架下的视觉语法体系，对多模态概念及其相关的研究做了系统的梳理。并以一则平面广告为例，试图从多模态视角，探讨识读的认知规律，以便为多模态语篇的设计、评介提供借鉴。
关键词：多模态；话语分析；元功能；视觉语法[中图分类号]H314 [文献标识码]A [文章编号]1671-7287(2011)04-0096-05
一、基本概念
1.视觉语法的产生
韩礼德系统功能语法认为，语言具有三大元功能(亦称纯理功能)：概念功能、人际功能和语篇功能。概念功能指语言对于人们的现实世界(包括内心世界)中各种经历加以表达的功能；人际功能是讲话者运用语言参加社会活动的功能；语篇功能是人们运用语言组织信息的功能。该理论框架由五个部分组成：①文化层面；②语境层面；③意义层面；④形式层面；⑤媒体层面。其中，形式层面包括语言的词汇语法系统、视觉性的表意形体和视觉语法系统、听觉性的表意形体和听觉语法系统、触觉性的表意形体和触觉语法系统等模态以及各个模态的语法之间的关系。媒体层面是话语最终在物质世界表现的物质形式，包括语言形式和非语言形式两大类。其中语言形式包括纯语言的和伴语言的两类；非语言形式包括身体性的和非身体性的两类。前三个层面的讨论主要围绕语言进行，后两个层面的讨论则突破了语言范畴，这也为后来克瑞斯等人的视觉语法提供了理论基础。杨信彰认为：“从社会符号学角度看，符号的使用受语境的影响，表现在所使用的表征和交际手段上。语言是典型的符号系统，有关语言的理论同样也适用于其他符号系统”。克瑞斯等认为不同的符号可以表示相同的意思，语言的元功能意义靠词汇语法来体现，其他模态也有类似特征。Royce讨论了语言和其他符号系统之间的关系，认为视觉图像同时体现着三大元功能。视觉图像由呈现的参加者、互动参与者及构图特征组成。呈现的参加者指图像中出现的所有成分或实体。互动参与者指的是阅读过程中的参与者，即阅读者和图像设计者或绘画者。构图特征指的是能够产生结构连贯的成分排列方式，相当于“语篇功能”。
在将图像也看成是社会符号的前提下，克瑞斯等将韩礼德系统功能语法中的元功能延伸到视觉模式，创立了视觉语法体系，认为“正如语言的语法决定词汇如何组成小句、句子和语篇，视觉语法将描写所描写的人物、地点和事物如何组成具有不同复杂程度的视觉的‘陈述’”。该语法体系由再现意义、互动意义和构成意义组成，分别对应功能语法中的概念意义、人际意义和语篇意义。克瑞斯在对再现意义进行讨论时将图像分为叙事和概念两种。王红阳讨论了如何构建观察者与图像之间的互动意义。根据克瑞斯等人的观点，互动意义是指图像的制作者、图像所表征的事物(包括人)和图像观察者之间的关系，同时提示观看者对表征事物应持有的态度。互动意义由接触、社会距离、态度和情态四个要素构成。构图意义在视觉语法中指“语篇成分的空间顺序”，分“信息价值”、“突显”和“框架”三个步骤实现。
2.视觉语法与多模态话语
多模态是近十年来语言学领域新出现的一个概念，并正在引起相关学者的关注。多模态话语分析也是近十年来发展并活跃于西方学术界的一种新的话语分析理论。克瑞斯等开创了多模态研究之先河，引入了多模态话语分析的概念。多模态话语分析的理论基础为韩礼德的系统功能语法，其出发点是韩礼德“语言是社会符号”的论述。从符号学角度看，我们在交际的时候使用多种多样的符号，这些符号有机组合在一起，共同构成交际的符号体系，而作为主要交际符号的语言只是其中的一种符号。韩礼德的视觉语法为多模态概念的提出及后期研究奠定了坚实的基础。多模态话语分析的基础是语篇，即多模态语篇。
克瑞斯等最早涉足这一领域，为多模态研究拉开序幕，他们对多模态语篇／话语所下的定义是：一种融合了多种交流模态(如声音、文字、形象等)来传递信息的语篇。李战子认为：“多模式话语除了文本之外，还带有图像、图表等的复合话语，或者说由任何一种以上的符号编码实现意义的文本”。曾蕾认为“超出文字语言符号以上的多种符号语篇”则为多模态语篇。胡壮麟从符号学的视角研究了多模态的符号学特性，这和克瑞斯等人的研究视角不谋而合。依照他的研究，我们可以从社会符号学的角度将多模态语篇定义为多种“符号资源”共同呈现的语篇，或是传达同一意思的多种符号有机构成的“符号系统”。王红阳在研究中，还提到了“语篇多模态观”，即“各种符号资源(如有声语言、形象、声音、设计、动作等)共同参与我们日常的人际交往活动”。张德禄在交际情景中讨论了多模态话语语篇，“话语的意义中的一大部分是由非语言因素体现的，如伴语言特征：音响度、声调、语调、音速等；身体特征：手势、身势、面部表情、动作、移动等；非身体特征：PPT、音响设备、网络、实验室、周围的环境因素等。以这种交际方式产生的话语就是多模态话语”。尽管不同研究者都有各自的论述，但都抓住了多模态的基本特征。其中的模态符号属性、模态数量以及各模态之间的关系最为重要。
综上所述，我们可以清楚看出：多模态语篇概念的提出拓宽了语篇研究的视野话语。据此，我们认为，语言语篇只是语篇中的一种，还可以有听觉语篇、视觉语篇(平面广告、招贴画、海报等)、触觉语篇(盲文等)等。这样的分类，也给视觉语法提供了分析的语料。根据视觉语法的定义，我们可以将语篇分为动态语篇(如视频、PPT等)和静态语篇(文本、平面广告等)，进行语篇类型、语篇认知等方面的研究。本文选择一静态广告语篇，尝试运用视觉语法来进行语篇认知的解析，试图从多模态视角探讨识读的认知规律。
二、视觉语法与图像识读
在信息交流多样化的当今世界，人们的信息表达、传递及获取方式都呈现出丰富多样性。信息发出者借助语言、图像、颜色、音乐等手段将“欲言”的信息按照一定的编码规则组合成能够表述完整交际意义、实现预期交际效果的有机整体。信息接收者基于自己对于该类交际方式的了解，借助一定的解码规则，对信息发出者的交际意义、交际意图等进行接收和解码，从而配合信息发出者实现交际效果。前者可以称作多模态语篇的设计或是编码，后者可以称作多模态语篇的“识读”或解码。图像的设计者为了传递一定的交际意义或实现一定的交际功能，将不同的元素有机结合在一起，同时考虑图像解读时识读者的认知顺序和认知策略。只有这样，才可以保证图像，特别是广告语篇，在被识读时尽可能少地出现杂音或是失真现象。
本文所选语篇为一则由影视明星黄晓明代言的Olay marl的广告(见图1)。现采用视觉语法的“再现、互动和构图”三个理论概念来解析视觉语法在图像多模态语篇分析中的心理认知过程。 1.再现意义
语篇的概念功能在视觉语法中体现为一种再现。再现分为叙事性再现和概念性再现两大类。向量是叙事性语篇区别于概念性语篇的主要特征。叙事图像给信息接收者呈现的是展开的“动作”和“事件”。图1为叙事性语篇，主要依据是代言人的目光，这可以被称为视觉语法中的向量。代言人目光所注视的方向即为向量的方向。图像的背景和前景由同一个人的两张面孔构成，被称作“表征参与者”在前景化的面孔中，代言人的目光注视的目标显然是图像信息的接收者。我们在阅读图像的时候，仿佛和代言人进行了目光交流，视线从发出到被接收构成了完整的交际过程。此外，在按照从背景头像到前景头像的空间顺序分析图像时，信息接收者仿佛可以感受到代言人的头部动作及视线的转向。图像中代言人的背景化视线所指方向强化了前景化视线所指方向所代表向量的再现意义，使图像识读者更加专注于前景化向量所传递的信息。
通常情况下，对图像再现意义的理解并不需要我们太多的认知投入，识读者只需要凭借自己对图像的主观感知即可提取出图像的再现意义，这种再现意义只是对语篇的初步认识和粗略印象，因此具有非系统性、主观性特点。这也从一定程度上给广告设计者提供了理论依据，因为广告的主要功能是广而告之，使消费者对特定的产品拥有直观的印象，即上述讨论的概念意义或是再现意义；同时，这种主观性的特点拉近了广告与识读者之间的人际距离，为实现图像和图像识读者之间的互动提供了情感基础。
2.互动意义
根据视觉语法理论的观点，互动意义主要通过三个方面来实现：接触、社会距离和态度。接触指图像参与者与图像互动者目光对接，从而引起图像互动者一定情感体验的虚拟行为，需要指出的是，在接触过程中图像互动者的主观能动性对于互动意义的识读至关重要。接触分为“提供”和“索求”，两者之间的区别在于图像参与者和互动者之间目光是否可以实现对接。代言人“索求”的对象是图像识读者，即预期顾客，“索求”的内容包括递进同时又是互补的两个方面：预期顾客对代言人个人的信任和认可、对产品的信赖、接受，从而最终做出购买该产品的选择。换言之，顾客只有承认了产品代言人的人品和信誉，才会认可和接受他所说的话或是相信他所代言产品的质量，进而考虑是否购买该产品。
社会距离的亲疏远近和图像的取景有关。一般来说，远景表示社会距离较远，近景表示社会距离较近。克瑞斯对于取景和距离做了四个方面的划分，个人近距离：头部和肩部；个人远距离：腰部以上；社会近距离：整个人；社会远距离：整个人并且周围有空间环绕；公共距离：至少有4～5个人的距离。图1的图像参与者和互动者，即代言人和顾客之间的距离为个人近距离。这样的图片取景拉近了参与者和互动者之间原本很远的社会距离，增进了两者之间的情感交流，提高了互动者对参与者的认可度和接受度。顾客在看到这样的广告图片时会觉得一个亲密的朋友向他推荐产品。此外，图片中前景和背景造成的转头幻觉和凝视时诚恳的眼神交流更让顾客感到一种亲切感，甚至联想到代言人背后的企业理念和企业文化，诸如“以顾客为中心”、“顾客就是上帝”、“产品让顾客满意”，等等。
态度取决于图像拍摄的视角。在视觉语法中，视角反映了图像参与者的主客观态度，主观指人，客观指物。视角分为水平视角和垂直视角两种。任何图像都可以从这两个维度识读。从水平维度看，正面表示“感同身受、融入其中”，侧面或是倾斜表示置身事外、漠不关心。从垂直维度看，俯视表示识读者的强势、权威、高高在上，平视表示识读者和参与者处于同等地位、平起平坐，仰视和俯视恰好相反，表示识读者处于劣势或地位、权威等低于参与者。在图1中，代言人和识读者处于同一高度，拍摄视角为水平，这仿佛在向顾客传递一个信息，商家和顾客是处于平等而非强买强卖的关系，同时也反映了商家对顾客根据个人喜好选择产品权利的尊重。从水平视角看，代言人虽然没有正面识读者，但通过分析图像背景虚拟出来的转头动作、眼神交流及面部微笑，我们可以推断，图像参与者所持的绝非一种漠不关心、不屑一顾或傲慢疏远的态度。综合两个维度和视角的考察，我们从图像中代言人的角度可以看出商家对预期识读者(顾客)所表明的是一种关注、商榷和期待的态度。
互动意义是系统功能语言学中人际功能在视觉语法中的对应。互动意义可以归纳为“关于图像的制作者、图像所表征的事物(包括人)和图像的观看者之间的关系，同时提示观看者对表征事物应持的态度”。顾日国教授曾将模态定义为“人类通过感官(如视觉、听觉等)跟外部环境(如人、机器、物件、动物等)之间的互动方式”，因此，可以认为，互动意义是传递语篇交际功能的一个重要方面。人们对于世界的认知更多还是通过与外界的互动来实现。当然互动并非空中楼阁，必须对认知的对象事先获得一个基本的概念和情感基础，这正体现了前文所讨论的图像再现意义在后期认知过程中所发挥作用。因此，我们可以认为，人们的认知过程是一个递进的过程。尽管对于图像再现意义的把握以及互动意义的提取都属于图像识读者的主观投入，但两次认知投入的深度明显存在着不断深化的动态推进过程。认知投入越多，互动意义越丰富，对语篇的理解就越深刻。互动是一个双向的过程，在图1中，图像参与者和图像识读者之间的互动是双向的，信息由图像传递到识读者，然后返回到图像，然后再返回到识读者，完成了一个完整的互动过程。而完成再现意义的传递过程只需要信息由图像到识读者的一个单向的过程。从认知投入复杂程度的角度，对于图像互动意义的提取要基于再现意义的获取和感知，再现意义的准确感知也可以在一定程度上加深和丰富对互动意义的理解。
3.构图意义
语篇功能在视觉语法中体现为构图意义，也称作“布局”。根据克瑞斯等人的观点，构图意义可以从信息价值、突显和框架三个方面加以讨论和研究。信息价值指向构图元素排序，突显指向主要构图元素，框架指向构图元素搭配。在图l中，代言人的头像占整个图像大小的2／3以上，前景的正面头像处于整张图像的中心位置，由于代言的是Olay玉兰油的广告，因此信息价值集中在图像的中心部位。从突出方面讲，图像识读的中心都放在了代言人的面部微笑和眼神上，图像所要传达的信息都集中在代言人的面部。从图像的框架看，该图像中最显著的特征就是前景和背景的巧妙组合，前景元素(正面)和背景(侧面)元素在色度、亮度方面的变化让图像识读者的关注点转移到前景头像，图像要传递的再现意义和互动意义都集中在前景头像中。此外，整张图像的背景是深绿色，其光亮度和前景形成鲜明的对比，突出了前景的效果。与再现意义和互动意义相比，构图意义虽然没有直接传递出多模态语篇的交际意义，但在识读再现意义和互动意义及获取语篇的整体意义和效果时是不可或缺的。因此，运用视觉语法进行多模态语篇分析时，一定要将整体、个体、具体3个方面有机整合起来，才能充分识读语篇的全部意义，这3个方面分别对应视觉语法中的构图意义、再现意义和互动意义。
从认知角度看，在图像的识读过程中，构图意义的识读虽然并非一定要基于互动意义和再现意义，但却可以理解为一种识读策略。对图像构图意义的信息价值、突显和框架的把握，可以帮助识读者调整识读过程中认知投入分配。在图像设计过程中，设计者往往将信息价值最大的元素放到语篇最突出的位置，会考虑到大部分读者的识读顺序、识读重心等识读习惯。而作为图像识读者，提高对图像构图意义的认识，恰恰是沿着图像设计者的意图去识读。
三、结语
本文运用多模态话语分析及视觉语法等相关理论，结合实例对多模态语篇进行识读。通过本文研究发现，语言的概念功能和视觉图像再现意义是语篇或图像给识读者最直观、最感性、最基础的信息，为人们进一步的认知提供最真实最原始的素材。此外，人们的认知是―个递进过程，尽管对于图像再现意义的把握以及互动意义的提取都属于图像识读者的主观投入，但两次认知投入的深度明显存在着不断深化的动态推进过程。图像的构图意义则反映了人们对图像识读时采用的策略，这些策略往往体现在图像设计过程中所遵循的认知规律。