“基於多學科視域的認知研究”中期檢查情況

一、研究進展情況

一、 研究計劃總體執行情況及各子課題進展情況

自課題立項以來，課題組即按申請書中提交的計劃開展各項工作和進行各項研究。目前已完成的內容有：繼項目開題會之后，召開了課題前期研討會，討論並細化研究方案﹔基本完成文獻、資料的收集與整理﹔自2013年中開始，課題組各子課題進入研究階段，得到一批階段性成果，指導完成博士論文1篇，發表學術論文28篇，其中有17篇英文文章發表於國際知名期刊或會議論文集（詳見表二）。目前各子課題正在按計劃進入深度研究階段。

根據新一代認知科學的研究綱領，本課題重點探討“關於自然語言理解的能動認知”，由語言學、心理學、邏輯學、計算語言學和智能科學這些學科共同承擔，共設五個子課題：

1．基於自然語言的能動認知的邏輯基礎

2．自然語言中的概念體系和詞匯系統

3．面向能動認知的語言交際理論研究

4．語言理解中能動認知的神經機制

5．智能機器人的認知發展和語言獲得

子課題1以邏輯學理論和方法為基礎，探討自然語言理解中的邏輯問題，包括對一些語言現象的邏輯方法分析，概念之間的邏輯關系，理解中的推理，主動求解的認知邏輯，計算機自然語言處理中的邏輯等。目前已完成當代概念理論的調研，提出了一種從概念到概念推理邏輯的基本架構，發展了一套可用來處理能動認知的動態認知邏輯的公理化新方法，並在認知邏輯中擴充更符合自然語言習慣的新認知算子。

子課題2主要探討思維和語言的基本單位即概念和語詞所形成的概念-詞匯系統，包括探討人類是如何自主性、能動性地構造概念-詞匯系統的機制。目前構詞結構界定、義素特征抽取的工作基本完成﹔得到了概稱句詞項邏輯GAG判定算法，描述邏輯的概稱句擴張等一系列結果。

子課題3在能動認知的視角下，探討自然語言表達的理解。從語言表達的語形看，有短語、句子和語篇三種不同的類型，從理解的方面看，又分為字面義的理解和語用義的理解兩個層次。目前在從語言學角度探討動態語言單位的意義理解中涉及的認知因素，包括短語、句子、語篇的理解。特別的，在語用推理方面，我們研究了國內外已有成果，認為他們都太偏重信息的傳遞，忽略其中的情感因素。為此，我們初步提出了自己的語用推理方案，正式把人的情感作為語境的一部分包括進來，獲得了一些初步結果。

子課題4從心理和神經生理機制的角度探討句子、語篇和話語理解過程。重點考察理解者個體如何利用話語不同層次上的語義或語用信息進行會話含義加工的認知和神經機制，以及與語言外部認知過程之間的相互作用機制及其在神經活動上的表現。目前圍繞“語用信息加工的認知神經機制”的子課題已針對構式語用信息、語用等級含義和社會等級性語用信息展開一系列腦成像研究。相關研究成果已發表或正出版在《神經心理學》、《社會認知神經科學》等國際期刊上，同時在《語言學研究》出版一篇等級含義加工神經機制的相關研究綜述，這也體現了該研究成果跨學科的影響力。

子課題5在智能機器人主動視覺及概念和范疇形成過程研究方面，著重研究了結合傳感器數據的攝像機位姿估計，從涉身認知的角度出發，引入陀螺儀加速度等傳感器線索，有效提高了三維重建中攝像機位姿估計的魯棒性。初步探索了虛擬客體與現實客體的在認知中的相互關系，目前已完成了基於Unity 3D的虛擬世界建模。

在智能機器人概念體系和詞匯系統整合能力研究方面，課題組著重探索了概念的整體-部分關系、主體-屬性關系、事件-子事件-行為模式關系、事件-事件元素關系、上下位關系等概念和概念間關系，目前已經形成了較為完善的概念體系﹔初步展開了概念體系和詞匯系統整合能力的研究，探索了基於概念體系學習詞匯系統的方法，目前已初步形成了概念體系和詞匯系統整合的計算模型。

在智能機器人對話語的多層次理解能力研究方面，課題組研究了融合詞法、句法、命名實體等多層次信息的句法分析方法研究，並在國際公認的句法評測數據集賓州樹庫CTB5.0上取得了良好性能﹔基於本課題第二部分的概念體系和概念整合理論，探索了融合概念、構式等層次的理解方法，在國際公認的語言理解評測集美國地理信息評測（GEO）任務中取得了優異的性能。

2. 調查研究及學術交流情況（調研數據整理運用、文獻資料收集整理、學術會議、學術交流、國際合作等）

在學術會議方面，由本項目資助，北京大學智能科學系與哲學系邏輯語言與認知中心於2013年7月31日至8月3日聯合承辦了第六屆國際通用人工智能大會（International Conference on Artificial General Intelligence: AGI）。AGI關注人工智能的通用方法，核心就是多學科角度對於認知過程的理解和建模。這是AGI首次在中國舉行，對本項目的開展有非常重要的意義。項目核心成員王培教授任會議的組織委員會主席，子課題負責人吳璽宏教授擔任本地委員會主席。大會議前還舉辦了兩個國際工作坊及兩次AGI相關的教程，會后舉辦了一次“人工智能中的認知邏輯”國際工作坊。

除此以外，項目組首席專家周北海教授應邀參加凱澤斯勞騰舉行的德中“社會交互計算：環境、機器人與人”雙邊研討會並作做了“Concept and Logics of Reasoning Based on Concept”（概念與基於概念推理的邏輯）的報告﹔項目子課題負責人吳璽宏擔任了IScIDE2013（2013 International Conference on Intelligence Science and Big Data Engineering）組織委員會聯合主席，並參與了國際人工智能大會（International Joint Conference on Artificial Intelligence: IJCAI 2013）任機器人競賽委員﹔ 項目組核心成員王彥晶任國際會議Logic, Rationality and Interaction（LORI）程序委員會委員。

在國內學術交流方面，由本項目及北京大學社會科學部聯合資助，北京大學語言、邏輯、認知計算跨學科論壇（LLCC）成功舉辦了十余次跨學科研討會，邀請16位中外著名學者報告與認知相關的最新學術進展。相關報道可見：http://llcc.pku.edu.cn/llcc/history。

在國際交流方面，由本項目及北京大學講座系列共同資助，印度數理科學研究所的著名邏輯學家�計算機科學家R.Ramanujam教授於2013年在北京大學哲學系開設兩門計算邏輯與博弈的課程，該課程為項目組成員提供了必要的知識補充。

此外項目組成員還在2013及2014年參加了機器學習領域國際會議International Conference on Machine Learning and Applications (ICMLA2013)、機器人領域會議 IEEE International Conference on Mechatronics and Automation (ICMA 2013)，國際自然語言領域頂級會議International Conference on Computational Linguistics (COLING 2014)。特別的，課題組成員在國際頂級人工智能大會International Joint Conference on Artificial Intelligence (IJCAI 2013)發表論文，並在機器人技能比賽組獲一等獎。

3. 成果宣傳推介情況（成果發布會、《工作簡報》報送情況、國家社科基金專刊投稿及採用情況等）

目前成果宣傳推介主要限於學術會議，如第六界國際通用人工智能大會（2013年8月）、13年全國現代邏輯學術討論（2013年12月）等，都有課題組成員報告課題研究取得的成果。專門的成果發布會等尚未舉行。主要原因是，一方面目前研究還在緊張進行，雖然已經得到一批初步結果，但還沒來得及總結、概括﹔另一方面，主觀上也有希望更穩重一些的考慮，在得到進一步成果后，也是對之前結果的檢驗，再著力進行宣傳。宣傳推介將是下一步的重點要開展的工作。

4. 研究中存在的主要問題、改進措施，研究心得、意見建議

到目前為止本項目的研究主要有如下兩個問題：

（1）本課題涉及到語言學、心理學、邏輯學、計算語言學和智能科學，是多科學的跨學科交叉研究項目。因為各學科研究的“慣性”，有深度的合作以及真正意義上的跨學科研究比原來預想的難度更大，需要更多時間的磨合。

（2）目前主要還是各子課題獨立研究為主，如何進一步開展各子課題之間的對話與合作，成果的借鑒與引用，形成整個課題圍繞總體目標的研究，還存在一定的間隙。

針對這兩個問題，主要的改進辦法就是加強交流，鼓勵不同學科的合作研究。在具體措施方面，在課題組內部、子課題組之間，開展各種類型的學術交流活動，如舉辦研討會，報告會，集體攻關討論會等，也包括引入新生力量，開設討論班，合作指導博士生等。同時也加強國際學術交流，引入國際新近研究成果，新的思想和觀點，以開闊思路和視野。

5. 其他需要說明的問題

關於專著

本課題預計完成三部專著：（1）《概念與推理》;（2），《語用和漢語結構》﹔（3）《動態投射意義研究》。隨著研究的深入，目前已有比申請時更好的成果和基礎，有可能增加新的內容，因此書名有可能作相應調整。例如，目前關於概念以及基於概念的推理的研究有了新的進展，預計可以得到某種概念推理的邏輯，專著（1）應該會有更多的技術結果﹔再如，現階段著重於投射意義的研究的初步成果顯示動態分析不一定能適用於中文投射意義的分析，而需要有新的視角。這些情況使得專著（1）和（3）的最后名稱有可能需要做相應的調整。

關於科研經費

當初申報時提出了100萬的預算，獲批80萬。立項后課題組根據批准經費已做了調整，在項目各項工作的進行中課題組及課題組成員也盡可能利用其他資源開展項目研究。目前經費使用有諸多不便，財務管理不斷增加各類規定，給課題組成員帶來很多額外的工作量。這些情況一方面減少了本課題的經費支出，另一方面，還有許多已支出的費用至今尚未報銷，這些都造成了目前課題經費的實際支出統計數額不多的現狀。

鑒於目前經費的使用情況，這次評估不申請滾動追加經費。

注：2010年立項的重大項目主要填寫2012年6月以來的研究進展情況。

二、研究成果情況

代表性成果1:

周北海，馬麗，概稱句詞項邏輯的樹圖判定算法，《邏輯學研究》，2013年第4期，1–16。

馬麗，描述邏輯的概稱句擴張，北京大學博士論文： 2014年5月，導師周北海

簡介：概稱句的形式刻畫研究始於人工智能。從條件蘊涵的引入開始，到建立概稱句詞項邏輯的形式系統GAG 和Gaa，關於概稱句一系列的研究主要圍繞概稱句自身性質的探討以更合理地刻畫其推理形式，而沒有同時兼顧計算機應用方面的考慮。回歸問題的初始，關於概稱句的概念理論是否還可以用於計算機科學領域，是這一研究路線所面臨的問題。首先要解決的問題是，根據GAG 和Gaa 模型，公式的可滿足性是否有能行的判定方法。對此，《概稱句詞項邏輯的樹圖判定算法》這篇文章給出了基於GAG 語義的樹圖判定算法，包括相應的可靠性，完備性等証明。該成果也是馬麗博士論文中的基礎性工作之一。

進一步的，馬麗的博士論文將概稱句的理論與描述邏輯相結合，研究描述邏輯的的概稱句擴張，開始了描述邏輯向內涵邏輯擴展的新方向。論文給出了描述邏輯概稱句擴張（G-ALC）的定義及其樹圖判定算法。証明了此樹圖對於G-ALC語義的可靠性和完備性，從而得到G-ALC的可判定性。描述邏輯作為一種重要的知識表示方式，廣泛應用在計算機和人工智能領域，但傳統上講隻能處理概念的外延。在人類知識的構成中，概念的內涵有更重要的作用。因此將刻畫內涵的概稱句引入到描述邏輯中，不但具有理論上的意義，而且也具有重要的實際應用價值。

代表性成果2:

Dongchen Li, Xiantao Zhang, Xihong Wu : Learning the Taxonomy of Function Words for Parsing, to appear in Proceeding of the 25th International Conference on Computational Linguistics (COLING) .2014

Dongchen Li, Xiantao Zhang, Xihong Wu: Learning Grammar with Explicit Annotations for Subordinating Conjunctions in Chinese, In Proceeding of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL) Student Research Workshop. 2014

Xiantao Zhang, Dongchen Li, Xihong Wu : Parsing Named Entity as Syntactic Structure, to appear in Proceedings of the15th Annual Conference of the International Speech Communication Association (Interspeech). 2014

1. 結合傳感器數據的攝像機位姿估計

傳統的三維重建技術通過視覺特征匹配估計攝像機當前的位置和姿態，這種方法時間復雜度較高並且在攝像機運動復雜時魯棒性較差。課題組提出了一種結合傳感器數據的攝像機位姿估計策略，在視覺特征匹配之前首先使用陀螺儀和加速度計等慣性傳感器估計當前攝像機位姿，提高了位姿估計的效率。相關報告正在撰寫中。

2. 融合多層次信息的句法分析方法

傳統自然語言處理將分詞、詞性標注、命名實體識別、句法分析作為四個相對獨立的任務來處理，這種方法並未充分考慮到詞法、句法各層面信息的相互影響。課題組提出了一種基於字、融合命名實體識別的句法分析方法，將詞法信息、命名實體信息、句法信息融合為一體，從而提高了句法分析的性能，為進一步語言理解提供了有利條件。我們在國際公認的句法分析數據集賓州樹庫CTB5.0上進行了實驗，下表給出了我們的方法與國際上有代表性的兩個句法分析方法的性能比較。

3. 基於概念體系和概念整合的語言理解方法

自然語言中的詞語是概念的語言學表示，是語言理解的基石。概念之間通過構式整合，最終形成了句子的語義。基於本課題第二子課題所構建的概念體系，課題組研究了基於概念和概念整合的語言理解方法。該方法首先構建完整的概念體系，在訓練階段通過人工標注的方法學習自然語言的構式，在自動分析階段，基於概念體系、利用構式進行概念的整合，最終得到句子的語義。我們在國際公認的語言理解評測集美國地理信息（GEO）評測任務上進行了實驗，下表給出了我們的方法與國際上有代表性的兩個語言理解方法（基於組合范疇文法（Combinatory Categorial Grammar，CCG）的方法和基於依存組合語義（Dependency Compositional Semantics，DCS））的方法的性能比較。這種方法有一個重要性能：系統能夠區分是否理解某個自然語言句子。對於無法理解的句子，系統不給出回答，而不是以概率選取一個可能回答。因此，系統在很大程度上優於以前的方法。

代表性成果3:

Jiang, X., Li, Y., & Zhou, X. (2013). Is it over-respectful or disrespectful? Differential patterns of brain activity in perceiving pragmatic violation of social status information during utterance comprehension. Neuropsychologia, 51, 2210-2223.

Jiang, X., Li, Y., & Zhou, X. (2013). Even a rich man can afford that expensive house: ERP responses to construction-based pragmatic constraints during sentence comprehension. Neuropsychologia, 51, 1857-1866.

Li, S., Jiang. X., Yu., H., & Zhou, X. (in press). Cognitive empathy modulates the processing of pragmatic constraints during sentence comprehension. Social Cognitive and Affective Neuroscience.

簡介：這一系列工作揭示了1）禮貌性言語知覺的認知神經機制，大腦可以很快知覺並區分過分尊敬和不尊敬兩種違背社會等級的言語信息﹔2)結構性語用含義加工的認知神經機制,句法結構傳遞語用信息具有心理現實性﹔3）人類共情和語用推理和意圖理解之間關系的神經機制，想象能力參與語用推理而觀點採擇能力參與語用沖突的解決等問題。

代表性成果4:

Yanjing Wang, Qinxiang Cao: On axiomatizations of public announcement logic. Synthese 190 (Supplement 1): 103-134 (2013).

簡介： 動態認知邏輯（Dynamic Epistemic Logic）在傳統認知邏輯的基礎上加入動態算子以處理知識更新，是目前模態邏輯研究的國際前沿方向之一，可以作為能動認知的邏輯基礎。然而作為一個新興領域，其理論基礎還比較薄弱，特別是其公理化通常利用“歸約公理”消去動態算子，不適用於沒法歸約到靜態片段的情況。本文做了兩件事：A. 系統地研究了現有的基於規約公理的各種動態認知推理系統，指出本領域國際文獻中存在的錯誤，証明一系列常見的基於歸約公理的系統的不完全性，並完整的梳理了確實完全的系統。B. 提出了一套利用時態認知邏輯公理刻畫動態認知邏輯的公理化新方法，該方法不需要利用傳統的歸約，應用范圍更廣，公理本身直觀易懂，並且從技術的角度把時態認知邏輯與動態認知邏輯之間的關系做了清晰嚴格的刻畫。本文的結果和方法得到了審稿人的一致好評，對未來動態認知邏輯的研究提供了更自由的工具。

代表性成果 5:

董秀芳，詞匯與句法的關聯：詞義聚合與句法結構義聚合的平行性，《語文研究》2013年第4期：5-9頁。

簡介：本文提出這樣一個假設：詞上的語義聚合與句法結構意義的聚合存在一定的平行性。這是說，如果意義A和意義B在某個詞項上聚合，即成為某個詞的兩個義項，那麼意義A和意義B也可能在某個句法結構中形成聚合，即成為某個句法結構的兩個意義。本文通過漢語和英語中一些語言事實的對比，對這個假設作了初步的証明。本文亦轉載於人大復印資料《語言文字學》2014年第3期。

注：2010年立項的重大項目主要填寫2012年6月以來的研究成果情況。

序號	成果名稱	作者	成果形式	刊物名或出版社、刊發或出版時間	字數	轉載、引用、獲獎等情況
1	Building Chinese relative clause structures with lexical and syntactic cues: Evidence from visual-world eyetracking and reading times.	Fuyun Wu Yingyi Luo Xiaolin Zhou	論文	Language, Cognition and Neuroscience (in press) 2013年9月	無統計 （下同）	文章較新 暫無統計 （下同）
2	Cognitive empathy modulates the processing of pragmatic constraints during sentence comprehension	Sai Li Xiaoming Jiang Hongbo Yu Xiaolin Zhou	論文	Social Cognitive and Affective Neuroscience (in press) 2013年8月
3	fMRI evidence for the interaction between orthography and phonology in reading Chinese compound words	Jiayu Zhan Hongbo Yu Xiaolin Zhou	論文	Frontiers in Human Neuroscience 第7卷 2013年11月
4	Is it over-respectful or disrespectful? Differential patterns of brain activity in perceiving pragmatic violation of social status information during utterance comprehension	Xiaoming Jiang Yi Li, Xiaolin Zhou	論文	Neuropsychologia 第51卷 2013年7月
5	Even a rich man can afford that expensive house: ERP responses to construction-based pragmatic constraints during sentence comprehension	Xiaoming Jiang Yi Li Xiaolin Zhou	論文	Neuropsychologia 第51卷 2013年6月
6	Knowing that, Knowing what, and Public Communication: Public Announcement Logic with Kv Operators	Yanjing Wang Jie Fan	論文	Proceedings of 23rd International Joint Conference on Artificial Intelligence (AAAI press) 2013年 8月
7	On axiomatizations of public announcement logic	Yanjing Wang Qinxiang Cao	論文	Synthese 第190期增刊 2013 12月
8	概稱句詞項邏輯的樹圖判定算法，，	周北海 馬麗	論文	《邏輯學研究》 2013年第4期
9	一個關於專名指稱存在預設的形式刻畫，	周北海 傅慶芳	論文	《邏輯學研究》 2014年第1期，
10	語用推理——邏輯學與語言學的交匯點	姜望琪	論文	《語言學研究》第14輯 高等教育出版社， 2014年1月
11	語用推理之我見	姜望琪	論文	《現代外語》2014年第3期 （總第145期）
12	否定和雙重否定的多維度研究	葉文曦	論文	《語言學研究》第14輯，高等教育研究出版社 2014年1月
13	語用等級含義加工的腦與認知機制	蔣曉鳴 周曉林	論文	《語言學研究》第14輯，高等教育出版，2014年1月
14	描述邏輯的概稱句擴張	馬麗	博士 論文	北京大學博士論文 2014年6月
15	詞匯與句法的關聯：詞義聚合與句法結構義聚合的平行性	董秀芳	論文	《語文研究》2013年第4期
16	趨向動詞語法化為體標記：來自漢語歷史和方言的証據	董秀芳	論文	《現代中國語研究》第15期：10-24頁，朝日出版社（日本），
17	辭彙雙音化對動詞論元結構的影響	董秀芳	論文	《漢語史學報》第十三輯 2013年12月
18	副詞“相互/互相”：語義和句法的互動，《中國語文法論叢——木村英樹教授還歷記念》，	郭銳	論文	東京：白帝社 2013年5月
19	Unsupervised Topic-Sensitive Parser .	Dongchen Li, Xiantao Zhang, Xihong Wu.	論文	Proceeding of the 3rd International Conference on Computer Science and Network Technology.2013.
20	Learning the Taxonomy of Function Words for Parsing	Dongchen Li, Xiantao Zhang, Xihong Wu.	論文	Proceeding of the 25th International Conference on Computational Linguistics (COLING) .2014
21	Exploiting Limited Data for Parsing	Dongchen Li, Xiantao Zhang, Xihong Wu.	論文	Proceeding of the 13th IEEE and ACIS International Conference on Computer and Information Science (ICIS).2014
22	Improved Parsing with Taxonomy of Conjunctions	Dongchen Li, Xiantao Zhang, Xihong Wu.	論文	Proceeding of the 2nd IEEE China Summit and International Conference on Signal and Information Processing (ChinaSIP’ 14). 2014
23	Learning Grammar with Explicit Annotations for Subordinating Conjunctions in Chinese	Dongchen Li, Xiantao Zhang, Xihong Wu.	論文	Proceeding of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL) Student Research Workshop. 2014
24	Learning Latent Variable Grammars From Complementary Perspectives	Dongchen Li, Xiantao Zhang, Xihong Wu.	論文	Proceeding of the 2nd IEEE China Summit and International Conference on Signal and Information Processing (ChinaSIP’14).2014
25	Parsing Named Entity as Syntactic Structure	Xiantao Zhang, Dongchen Li, Xihong Wu.	論文	Proceedings of the15th Annual Conference of the International Speech Communication Association (Interspeech). 2014
26	A New Method on Foot Rolling Trajectory Generation for Human-Like Bipedal Walking	Dingsheng Luo, Yi Wang, Xihong Wu	論文	Proceedings of IEEE International Conference on Mechatronics and Automation (ICMA 2013).2013.
27	Discriminative apprenticeship learning with both preference and non-preference behavior	Dingsheng Luo, Yi Wang, Xihong Wu.	論文	Proceedings of the 12th International Conference on Machine Learning and Applications (ICMLA). 2013.
28	A Multi-stage Approach for Efficiently Learning Humanoid Robot Stand-up Behavior	Luo D.S., Ding Y.D., Cao Z.D. and Wu X.H.	論文	IEEE International Conference on Mechatronics and Automation (ICMA 2014). 2014.