手势和语言共享同一交流系统
马利军 张积家2011年12月12日09:23来源:中国社会科学报
日常观察发现,语言伴随性手势(speech-associated gesture)是人类交流的普遍特征之一。教师在教学中会频繁地使用手势,优秀教师使用手势的频率更高。在语言发展的早期,处在单词句阶段的儿童就能够以一种系统化的方式协调手势和言语。先天盲童虽然从未看到过其他人使用手势,但仍会自发地发展与语言相伴随的手势。即使言语交流的双方都无法看到手势,语言伴随性手势也不会消失。
语言伴随性手势有利于双方交流 依据是否伴随着语言产生,可以将手势分为非表象性手势和表象性手势。非表象性手势包括标志性手势和连续敲打的手势,可以独立于语言使用。表象性手势伴随着语言产生,在个体生活中产生的比率非常高,包括指示性手势、隐喻性手势和象征性手势。但事实上,对手势很难进行非此即彼的分类,它们的功能也存在着混合和重叠。手势的发展受文化交流和地理环境的影响,即使是标志性手势,在不同的文化环境下表达的意义也可能不同。例如,“OK”手势,在许多地区表达“可以、行”,但在法国、土耳其和希腊却表达相反的意义。同时,文化习惯、认知维度、语言多元性和手势在语用上的不同也会影响手势的使用和交流,如加纳人因左手禁忌从不单独使用左手进行手势活动。
Bates和Goodman认为,语言是用“旧的零部件”(即手势动作)造出的“新机器”。因此,从发展的观点看,人类在没有发展出有声语言之前,是通过手势进行交流的。Corballis认为,口头语言的发展是逐渐从手部动作向口部动作转移的,因为双运动指令可以同时传递到手部和嘴部,人类的语言发展来自于手部动作,而不是动物的吼叫。Goldin-meadow和McNeill提出的双通道理论认为,手势提供了言语不能传递的概念的模拟表征,以其自身的方式表达了复杂的信息,从而扩大了交流的信息内容。Lozano等人的研究表明,手势传递的动作信息使交流的双方都获益。手势是依赖于自身活动的具身知识,这一类知识是个体在特殊情境下通过操纵、执行特殊的客体获得的,对其识别不需要言语信息的转化。Skipper等认为,语言伴随性手势减少了人对听觉信息的语义选择和提取,从而更有利于双方的交流。
单词发音和手势动作存在相互作用 在叙述性任务中,语言和手势动作在时间和形式上存在平行对应性。例如,在描述一个卡通人物爬上一根管子时,叙述者会把手向前移动,做出和爬管子相类似的动作。如果人们猜想某一动作与一个单词或短语的含义一致,对与该动作相关事物的判断就会加快。例如,人们将食指和拇指捏在一起表示标枪,对标枪这一名称的判断就会变快。相互作用理论认为,手势和言语系统之间的联系依赖于两种信号的语义一致性。二者之间的整合原理在于:手势系统转移手势编码携带的社会目的信号给单词,导致发音参数共振峰2(即F2)增加。一旦转移处理完成,系统识别手势产生的意义和单词一致,手势就变成多余信息,单词控制系统就会发送抑制信号到手势控制系统。手势对言语的影响可能是先前假设系统对双运动指令(手部和口部)执行的结果,对两种系统的控制可以实现对手势和单词的分别控制。当发现手势执行同样意义的动作时,言语系统产生抑制信号,阻止其完成。研究发现,当手势和对应单词的发音同时进行时,手势运动速度会减慢,即发音对其产生了干扰;类似地,与单词自身发音形成的发音频率范围相比,发音和手势同时产生会使得F2被放大。
手势和言语动作基于相似或相同的生理基础 脑成像研究表明,诸如模仿、观察手势动作和手臂向上动作均会激活Broca区。嘴部发音姿势激活的脑区也是Broca区特别是BA44区,BA44区同时也是语音编码和表征的主要区域。神经影像学研究表明,BA44区并不仅限于言语发音,还控制手或胳膊的运动表征。在公开或隐蔽地产生手势时,特别是在表征手部动作的旋转、表征抓握动作的表象时,额下回均被激活。在手指准备做重复动作时,或者在进行运动的想象和执行中以及在模仿一个远端的运动时,额下回同样也会被激活。Buccino等发现,当要求被试用手部执行对客体的动作或对同类手势动作进行观察(如抓取一个客体)时,额下回的岛盖部均有激活。当观察嘴部动作时,这个区域也被激活,表明嘴部和手部的动作表征存在着部分重叠。Gentilucci等研究发现,BA44区卷入手势和言语信号之间的转移,是两类信号转移的生理基础,转移过程通过修改嘴部发音动作参数和言语参数来实现。
镜像神经系统位于猴脑的F5区,相对于人脑位置的Broca区,其存在为手势和言语来自同一交流系统提供了部分证据。姚远认为,人类镜像神经系统发挥着编码动作目标和动作的功能,它在观察没有明确目标的个体动作时也会有激活,镜像编码取决于观察到的行为内容。当人类看到他人嘴部活动(如撕咬、嘴唇上下活动、阅读等)时,镜像神经系统也有激活,但当观察狗或猴子执行类似的行为时,人类的镜像神经系统则没有激活。Fogassi等在大脑顶叶发现了一类特殊的镜像神经元,这些神经元放电与否并不依赖于观察到的动作类型,而是根据观察到的动作后面即将发生的动作类型而定,这些神经元在动作发生之前就开始兴奋。因此,镜像神经元不仅具有识别手势意义的作用,还可以推测手势动作之后的意义。
正如McNeill所言,手势不是经过语言压抑后的行为化石,而是言语行为必不可少的部分。对语言交流困难者而言,手势是重要的传递和表达信息的手段。即使语言发展到如此细化的地步,操不同语言者之间的交流依然在相当大的程度上依赖于手势动作的使用,这一现象足以引发人们对语言和手势发展关系的深层次思考。
(作者单位:华南师范大学心理应用研究中心)
(责编:秦华)