手勢和語言共享同一交流系統
馬利軍 張積家2011年12月12日09:23來源:中國社會科學報
日常觀察發現,語言伴隨性手勢(speech-associated gesture)是人類交流的普遍特征之一。教師在教學中會頻繁地使用手勢,優秀教師使用手勢的頻率更高。在語言發展的早期,處在單詞句階段的兒童就能夠以一種系統化的方式協調手勢和言語。先天盲童雖然從未看到過其他人使用手勢,但仍會自發地發展與語言相伴隨的手勢。即使言語交流的雙方都無法看到手勢,語言伴隨性手勢也不會消失。
語言伴隨性手勢有利於雙方交流 依據是否伴隨著語言產生,可以將手勢分為非表象性手勢和表象性手勢。非表象性手勢包括標志性手勢和連續敲打的手勢,可以獨立於語言使用。表象性手勢伴隨著語言產生,在個體生活中產生的比率非常高,包括指示性手勢、隱喻性手勢和象征性手勢。但事實上,對手勢很難進行非此即彼的分類,它們的功能也存在著混合和重疊。手勢的發展受文化交流和地理環境的影響,即使是標志性手勢,在不同的文化環境下表達的意義也可能不同。例如,“OK”手勢,在許多地區表達“可以、行”,但在法國、土耳其和希臘卻表達相反的意義。同時,文化習慣、認知維度、語言多元性和手勢在語用上的不同也會影響手勢的使用和交流,如加納人因左手禁忌從不單獨使用左手進行手勢活動。
Bates和Goodman認為,語言是用“舊的零部件”(即手勢動作)造出的“新機器”。因此,從發展的觀點看,人類在沒有發展出有聲語言之前,是通過手勢進行交流的。Corballis認為,口頭語言的發展是逐漸從手部動作向口部動作轉移的,因為雙運動指令可以同時傳遞到手部和嘴部,人類的語言發展來自於手部動作,而不是動物的吼叫。Goldin-meadow和McNeill提出的雙通道理論認為,手勢提供了言語不能傳遞的概念的模擬表征,以其自身的方式表達了復雜的信息,從而擴大了交流的信息內容。Lozano等人的研究表明,手勢傳遞的動作信息使交流的雙方都獲益。手勢是依賴於自身活動的具身知識,這一類知識是個體在特殊情境下通過操縱、執行特殊的客體獲得的,對其識別不需要言語信息的轉化。Skipper等認為,語言伴隨性手勢減少了人對聽覺信息的語義選擇和提取,從而更有利於雙方的交流。
單詞發音和手勢動作存在相互作用 在敘述性任務中,語言和手勢動作在時間和形式上存在平行對應性。例如,在描述一個卡通人物爬上一根管子時,敘述者會把手向前移動,做出和爬管子相類似的動作。如果人們猜想某一動作與一個單詞或短語的含義一致,對與該動作相關事物的判斷就會加快。例如,人們將食指和拇指捏在一起表示標槍,對標槍這一名稱的判斷就會變快。相互作用理論認為,手勢和言語系統之間的聯系依賴於兩種信號的語義一致性。二者之間的整合原理在於:手勢系統轉移手勢編碼攜帶的社會目的信號給單詞,導致發音參數共振峰2(即F2)增加。一旦轉移處理完成,系統識別手勢產生的意義和單詞一致,手勢就變成多余信息,單詞控制系統就會發送抑制信號到手勢控制系統。手勢對言語的影響可能是先前假設系統對雙運動指令(手部和口部)執行的結果,對兩種系統的控制可以實現對手勢和單詞的分別控制。當發現手勢執行同樣意義的動作時,言語系統產生抑制信號,阻止其完成。研究發現,當手勢和對應單詞的發音同時進行時,手勢運動速度會減慢,即發音對其產生了干擾﹔類似地,與單詞自身發音形成的發音頻率范圍相比,發音和手勢同時產生會使得F2被放大。
手勢和言語動作基於相似或相同的生理基礎 腦成像研究表明,諸如模仿、觀察手勢動作和手臂向上動作均會激活Broca區。嘴部發音姿勢激活的腦區也是Broca區特別是BA44區,BA44區同時也是語音編碼和表征的主要區域。神經影像學研究表明,BA44區並不僅限於言語發音,還控制手或胳膊的運動表征。在公開或隱蔽地產生手勢時,特別是在表征手部動作的旋轉、表征抓握動作的表象時,額下回均被激活。在手指准備做重復動作時,或者在進行運動的想象和執行中以及在模仿一個遠端的運動時,額下回同樣也會被激活。Buccino等發現,當要求被試用手部執行對客體的動作或對同類手勢動作進行觀察(如抓取一個客體)時,額下回的島蓋部均有激活。當觀察嘴部動作時,這個區域也被激活,表明嘴部和手部的動作表征存在著部分重疊。Gentilucci等研究發現,BA44區卷入手勢和言語信號之間的轉移,是兩類信號轉移的生理基礎,轉移過程通過修改嘴部發音動作參數和言語參數來實現。
鏡像神經系統位於猴腦的F5區,相對於人腦位置的Broca區,其存在為手勢和言語來自同一交流系統提供了部分証據。姚遠認為,人類鏡像神經系統發揮著編碼動作目標和動作的功能,它在觀察沒有明確目標的個體動作時也會有激活,鏡像編碼取決於觀察到的行為內容。當人類看到他人嘴部活動(如撕咬、嘴唇上下活動、閱讀等)時,鏡像神經系統也有激活,但當觀察狗或猴子執行類似的行為時,人類的鏡像神經系統則沒有激活。Fogassi等在大腦頂葉發現了一類特殊的鏡像神經元,這些神經元放電與否並不依賴於觀察到的動作類型,而是根據觀察到的動作后面即將發生的動作類型而定,這些神經元在動作發生之前就開始興奮。因此,鏡像神經元不僅具有識別手勢意義的作用,還可以推測手勢動作之后的意義。
正如McNeill所言,手勢不是經過語言壓抑后的行為化石,而是言語行為必不可少的部分。對語言交流困難者而言,手勢是重要的傳遞和表達信息的手段。即使語言發展到如此細化的地步,操不同語言者之間的交流依然在相當大的程度上依賴於手勢動作的使用,這一現象足以引發人們對語言和手勢發展關系的深層次思考。
(作者單位:華南師范大學心理應用研究中心)
(責編:秦華)