“基于多学科视域的认知研究”中期检查情况

一、研究进展情况

一、 研究计划总体执行情况及各子课题进展情况

自课题立项以来，课题组即按申请书中提交的计划开展各项工作和进行各项研究。目前已完成的内容有：继项目开题会之后，召开了课题前期研讨会，讨论并细化研究方案；基本完成文献、资料的收集与整理；自2013年中开始，课题组各子课题进入研究阶段，得到一批阶段性成果，指导完成博士论文1篇，发表学术论文28篇，其中有17篇英文文章发表于国际知名期刊或会议论文集（详见表二）。目前各子课题正在按计划进入深度研究阶段。

根据新一代认知科学的研究纲领，本课题重点探讨“关于自然语言理解的能动认知”，由语言学、心理学、逻辑学、计算语言学和智能科学这些学科共同承担，共设五个子课题：

1．基于自然语言的能动认知的逻辑基础

2．自然语言中的概念体系和词汇系统

3．面向能动认知的语言交际理论研究

4．语言理解中能动认知的神经机制

5．智能机器人的认知发展和语言获得

子课题1以逻辑学理论和方法为基础，探讨自然语言理解中的逻辑问题，包括对一些语言现象的逻辑方法分析，概念之间的逻辑关系，理解中的推理，主动求解的认知逻辑，计算机自然语言处理中的逻辑等。目前已完成当代概念理论的调研，提出了一种从概念到概念推理逻辑的基本架构，发展了一套可用来处理能动认知的动态认知逻辑的公理化新方法，并在认知逻辑中扩充更符合自然语言习惯的新认知算子。

子课题2主要探讨思维和语言的基本单位即概念和语词所形成的概念-词汇系统，包括探讨人类是如何自主性、能动性地构造概念-词汇系统的机制。目前构词结构界定、义素特征抽取的工作基本完成；得到了概称句词项逻辑GAG判定算法，描述逻辑的概称句扩张等一系列结果。

子课题3在能动认知的视角下，探讨自然语言表达的理解。从语言表达的语形看，有短语、句子和语篇三种不同的类型，从理解的方面看，又分为字面义的理解和语用义的理解两个层次。目前在从语言学角度探讨动态语言单位的意义理解中涉及的认知因素，包括短语、句子、语篇的理解。特别的，在语用推理方面，我们研究了国内外已有成果，认为他们都太偏重信息的传递，忽略其中的情感因素。为此，我们初步提出了自己的语用推理方案，正式把人的情感作为语境的一部分包括进来，获得了一些初步结果。

子课题4从心理和神经生理机制的角度探讨句子、语篇和话语理解过程。重点考察理解者个体如何利用话语不同层次上的语义或语用信息进行会话含义加工的认知和神经机制，以及与语言外部认知过程之间的相互作用机制及其在神经活动上的表现。目前围绕“语用信息加工的认知神经机制”的子课题已针对构式语用信息、语用等级含义和社会等级性语用信息展开一系列脑成像研究。相关研究成果已发表或正出版在《神经心理学》、《社会认知神经科学》等国际期刊上，同时在《语言学研究》出版一篇等级含义加工神经机制的相关研究综述，这也体现了该研究成果跨学科的影响力。

子课题5在智能机器人主动视觉及概念和范畴形成过程研究方面，着重研究了结合传感器数据的摄像机位姿估计，从涉身认知的角度出发，引入陀螺仪加速度等传感器线索，有效提高了三维重建中摄像机位姿估计的鲁棒性。初步探索了虚拟客体与现实客体的在认知中的相互关系，目前已完成了基于Unity 3D的虚拟世界建模。

在智能机器人概念体系和词汇系统整合能力研究方面，课题组着重探索了概念的整体-部分关系、主体-属性关系、事件-子事件-行为模式关系、事件-事件元素关系、上下位关系等概念和概念间关系，目前已经形成了较为完善的概念体系；初步展开了概念体系和词汇系统整合能力的研究，探索了基于概念体系学习词汇系统的方法，目前已初步形成了概念体系和词汇系统整合的计算模型。

在智能机器人对话语的多层次理解能力研究方面，课题组研究了融合词法、句法、命名实体等多层次信息的句法分析方法研究，并在国际公认的句法评测数据集宾州树库CTB5.0上取得了良好性能；基于本课题第二部分的概念体系和概念整合理论，探索了融合概念、构式等层次的理解方法，在国际公认的语言理解评测集美国地理信息评测（GEO）任务中取得了优异的性能。

2. 调查研究及学术交流情况（调研数据整理运用、文献资料收集整理、学术会议、学术交流、国际合作等）

在学术会议方面，由本项目资助，北京大学智能科学系与哲学系逻辑语言与认知中心于2013年7月31日至8月3日联合承办了第六届国际通用人工智能大会（International Conference on Artificial General Intelligence: AGI）。AGI关注人工智能的通用方法，核心就是多学科角度对于认知过程的理解和建模。这是AGI首次在中国举行，对本项目的开展有非常重要的意义。项目核心成员王培教授任会议的组织委员会主席，子课题负责人吴玺宏教授担任本地委员会主席。大会议前还举办了两个国际工作坊及两次AGI相关的教程，会后举办了一次“人工智能中的认知逻辑”国际工作坊。

除此以外，项目组首席专家周北海教授应邀参加凯泽斯劳腾举行的德中“社会交互计算：环境、机器人与人”双边研讨会并作做了“Concept and Logics of Reasoning Based on Concept”（概念与基于概念推理的逻辑）的报告；项目子课题负责人吴玺宏担任了IScIDE2013（2013 International Conference on Intelligence Science and Big Data Engineering）组织委员会联合主席，并参与了国际人工智能大会（International Joint Conference on Artificial Intelligence: IJCAI 2013）任机器人竞赛委员； 项目组核心成员王彦晶任国际会议Logic, Rationality and Interaction（LORI）程序委员会委员。

在国内学术交流方面，由本项目及北京大学社会科学部联合资助，北京大学语言、逻辑、认知计算跨学科论坛（LLCC）成功举办了十余次跨学科研讨会，邀请16位中外著名学者报告与认知相关的最新学术进展。相关报道可见：http://llcc.pku.edu.cn/llcc/history。

在国际交流方面，由本项目及北京大学讲座系列共同资助，印度数理科学研究所的著名逻辑学家／计算机科学家R.Ramanujam教授于2013年在北京大学哲学系开设两门计算逻辑与博弈的课程，该课程为项目组成员提供了必要的知识补充。

此外项目组成员还在2013及2014年参加了机器学习领域国际会议International Conference on Machine Learning and Applications (ICMLA2013)、机器人领域会议 IEEE International Conference on Mechatronics and Automation (ICMA 2013)，国际自然语言领域顶级会议International Conference on Computational Linguistics (COLING 2014)。特别的，课题组成员在国际顶级人工智能大会International Joint Conference on Artificial Intelligence (IJCAI 2013)发表论文，并在机器人技能比赛组获一等奖。

3. 成果宣传推介情况（成果发布会、《工作简报》报送情况、国家社科基金专刊投稿及采用情况等）

目前成果宣传推介主要限于学术会议，如第六界国际通用人工智能大会（2013年8月）、13年全国现代逻辑学术讨论（2013年12月）等，都有课题组成员报告课题研究取得的成果。专门的成果发布会等尚未举行。主要原因是，一方面目前研究还在紧张进行，虽然已经得到一批初步结果，但还没来得及总结、概括；另一方面，主观上也有希望更稳重一些的考虑，在得到进一步成果后，也是对之前结果的检验，再着力进行宣传。宣传推介将是下一步的重点要开展的工作。

4. 研究中存在的主要问题、改进措施，研究心得、意见建议

到目前为止本项目的研究主要有如下两个问题：

（1）本课题涉及到语言学、心理学、逻辑学、计算语言学和智能科学，是多科学的跨学科交叉研究项目。因为各学科研究的“惯性”，有深度的合作以及真正意义上的跨学科研究比原来预想的难度更大，需要更多时间的磨合。

（2）目前主要还是各子课题独立研究为主，如何进一步开展各子课题之间的对话与合作，成果的借鉴与引用，形成整个课题围绕总体目标的研究，还存在一定的间隙。

针对这两个问题，主要的改进办法就是加强交流，鼓励不同学科的合作研究。在具体措施方面，在课题组内部、子课题组之间，开展各种类型的学术交流活动，如举办研讨会，报告会，集体攻关讨论会等，也包括引入新生力量，开设讨论班，合作指导博士生等。同时也加强国际学术交流，引入国际新近研究成果，新的思想和观点，以开阔思路和视野。

5. 其他需要说明的问题

关于专著

本课题预计完成三部专著：（1）《概念与推理》;（2），《语用和汉语结构》；（3）《动态投射意义研究》。随着研究的深入，目前已有比申请时更好的成果和基础，有可能增加新的内容，因此书名有可能作相应调整。例如，目前关于概念以及基于概念的推理的研究有了新的进展，预计可以得到某种概念推理的逻辑，专著（1）应该会有更多的技术结果；再如，现阶段着重于投射意义的研究的初步成果显示动态分析不一定能适用于中文投射意义的分析，而需要有新的视角。这些情况使得专著（1）和（3）的最后名称有可能需要做相应的调整。

关于科研经费

当初申报时提出了100万的预算，获批80万。立项后课题组根据批准经费已做了调整，在项目各项工作的进行中课题组及课题组成员也尽可能利用其他资源开展项目研究。目前经费使用有诸多不便，财务管理不断增加各类规定，给课题组成员带来很多额外的工作量。这些情况一方面减少了本课题的经费支出，另一方面，还有许多已支出的费用至今尚未报销，这些都造成了目前课题经费的实际支出统计数额不多的现状。

鉴于目前经费的使用情况，这次评估不申请滚动追加经费。

注：2010年立项的重大项目主要填写2012年6月以来的研究进展情况。

二、研究成果情况

代表性成果1:

周北海，马丽，概称句词项逻辑的树图判定算法，《逻辑学研究》，2013年第4期，1–16。

马丽，描述逻辑的概称句扩张，北京大学博士论文： 2014年5月，导师周北海

简介：概称句的形式刻画研究始于人工智能。从条件蕴涵的引入开始，到建立概称句词项逻辑的形式系统GAG 和Gaa，关于概称句一系列的研究主要围绕概称句自身性质的探讨以更合理地刻画其推理形式，而没有同时兼顾计算机应用方面的考虑。回归问题的初始，关于概称句的概念理论是否还可以用于计算机科学领域，是这一研究路线所面临的问题。首先要解决的问题是，根据GAG 和Gaa 模型，公式的可满足性是否有能行的判定方法。对此，《概称句词项逻辑的树图判定算法》这篇文章给出了基于GAG 语义的树图判定算法，包括相应的可靠性，完备性等证明。该成果也是马丽博士论文中的基础性工作之一。

进一步的，马丽的博士论文将概称句的理论与描述逻辑相结合，研究描述逻辑的的概称句扩张，开始了描述逻辑向内涵逻辑扩展的新方向。论文给出了描述逻辑概称句扩张（G-ALC）的定义及其树图判定算法。证明了此树图对于G-ALC语义的可靠性和完备性，从而得到G-ALC的可判定性。描述逻辑作为一种重要的知识表示方式，广泛应用在计算机和人工智能领域，但传统上讲只能处理概念的外延。在人类知识的构成中，概念的内涵有更重要的作用。因此将刻画内涵的概称句引入到描述逻辑中，不但具有理论上的意义，而且也具有重要的实际应用价值。

代表性成果2:

Dongchen Li, Xiantao Zhang, Xihong Wu : Learning the Taxonomy of Function Words for Parsing, to appear in Proceeding of the 25th International Conference on Computational Linguistics (COLING) .2014

Dongchen Li, Xiantao Zhang, Xihong Wu: Learning Grammar with Explicit Annotations for Subordinating Conjunctions in Chinese, In Proceeding of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL) Student Research Workshop. 2014

Xiantao Zhang, Dongchen Li, Xihong Wu : Parsing Named Entity as Syntactic Structure, to appear in Proceedings of the15th Annual Conference of the International Speech Communication Association (Interspeech). 2014

1. 结合传感器数据的摄像机位姿估计

传统的三维重建技术通过视觉特征匹配估计摄像机当前的位置和姿态，这种方法时间复杂度较高并且在摄像机运动复杂时鲁棒性较差。课题组提出了一种结合传感器数据的摄像机位姿估计策略，在视觉特征匹配之前首先使用陀螺仪和加速度计等惯性传感器估计当前摄像机位姿，提高了位姿估计的效率。相关报告正在撰写中。

2. 融合多层次信息的句法分析方法

传统自然语言处理将分词、词性标注、命名实体识别、句法分析作为四个相对独立的任务来处理，这种方法并未充分考虑到词法、句法各层面信息的相互影响。课题组提出了一种基于字、融合命名实体识别的句法分析方法，将词法信息、命名实体信息、句法信息融合为一体，从而提高了句法分析的性能，为进一步语言理解提供了有利条件。我们在国际公认的句法分析数据集宾州树库CTB5.0上进行了实验，下表给出了我们的方法与国际上有代表性的两个句法分析方法的性能比较。

3. 基于概念体系和概念整合的语言理解方法

自然语言中的词语是概念的语言学表示，是语言理解的基石。概念之间通过构式整合，最终形成了句子的语义。基于本课题第二子课题所构建的概念体系，课题组研究了基于概念和概念整合的语言理解方法。该方法首先构建完整的概念体系，在训练阶段通过人工标注的方法学习自然语言的构式，在自动分析阶段，基于概念体系、利用构式进行概念的整合，最终得到句子的语义。我们在国际公认的语言理解评测集美国地理信息（GEO）评测任务上进行了实验，下表给出了我们的方法与国际上有代表性的两个语言理解方法（基于组合范畴文法（Combinatory Categorial Grammar，CCG）的方法和基于依存组合语义（Dependency Compositional Semantics，DCS））的方法的性能比较。这种方法有一个重要性能：系统能够区分是否理解某个自然语言句子。对于无法理解的句子，系统不给出回答，而不是以概率选取一个可能回答。因此，系统在很大程度上优于以前的方法。

代表性成果3:

Jiang, X., Li, Y., & Zhou, X. (2013). Is it over-respectful or disrespectful? Differential patterns of brain activity in perceiving pragmatic violation of social status information during utterance comprehension. Neuropsychologia, 51, 2210-2223.

Jiang, X., Li, Y., & Zhou, X. (2013). Even a rich man can afford that expensive house: ERP responses to construction-based pragmatic constraints during sentence comprehension. Neuropsychologia, 51, 1857-1866.

Li, S., Jiang. X., Yu., H., & Zhou, X. (in press). Cognitive empathy modulates the processing of pragmatic constraints during sentence comprehension. Social Cognitive and Affective Neuroscience.

简介：这一系列工作揭示了1）礼貌性言语知觉的认知神经机制，大脑可以很快知觉并区分过分尊敬和不尊敬两种违背社会等级的言语信息；2)结构性语用含义加工的认知神经机制,句法结构传递语用信息具有心理现实性；3）人类共情和语用推理和意图理解之间关系的神经机制，想象能力参与语用推理而观点采择能力参与语用冲突的解决等问题。

代表性成果4:

Yanjing Wang, Qinxiang Cao: On axiomatizations of public announcement logic. Synthese 190 (Supplement 1): 103-134 (2013).

简介： 动态认知逻辑（Dynamic Epistemic Logic）在传统认知逻辑的基础上加入动态算子以处理知识更新，是目前模态逻辑研究的国际前沿方向之一，可以作为能动认知的逻辑基础。然而作为一个新兴领域，其理论基础还比较薄弱，特别是其公理化通常利用“归约公理”消去动态算子，不适用于没法归约到静态片段的情况。本文做了两件事：A. 系统地研究了现有的基于规约公理的各种动态认知推理系统，指出本领域国际文献中存在的错误，证明一系列常见的基于归约公理的系统的不完全性，并完整的梳理了确实完全的系统。B. 提出了一套利用时态认知逻辑公理刻画动态认知逻辑的公理化新方法，该方法不需要利用传统的归约，应用范围更广，公理本身直观易懂，并且从技术的角度把时态认知逻辑与动态认知逻辑之间的关系做了清晰严格的刻画。本文的结果和方法得到了审稿人的一致好评，对未来动态认知逻辑的研究提供了更自由的工具。

代表性成果 5:

董秀芳，词汇与句法的关联：词义聚合与句法结构义聚合的平行性，《语文研究》2013年第4期：5-9页。

简介：本文提出这样一个假设：词上的语义聚合与句法结构意义的聚合存在一定的平行性。这是说，如果意义A和意义B在某个词项上聚合，即成为某个词的两个义项，那么意义A和意义B也可能在某个句法结构中形成聚合，即成为某个句法结构的两个意义。本文通过汉语和英语中一些语言事实的对比，对这个假设作了初步的证明。本文亦转载于人大复印资料《语言文字学》2014年第3期。

注：2010年立项的重大项目主要填写2012年6月以来的研究成果情况。

序号	成果名称	作者	成果形式	刊物名或出版社、刊发或出版时间	字数	转载、引用、获奖等情况
1	Building Chinese relative clause structures with lexical and syntactic cues: Evidence from visual-world eyetracking and reading times.	Fuyun Wu Yingyi Luo Xiaolin Zhou	论文	Language, Cognition and Neuroscience (in press) 2013年9月	无统计 （下同）	文章较新 暂无统计 （下同）
2	Cognitive empathy modulates the processing of pragmatic constraints during sentence comprehension	Sai Li Xiaoming Jiang Hongbo Yu Xiaolin Zhou	论文	Social Cognitive and Affective Neuroscience (in press) 2013年8月
3	fMRI evidence for the interaction between orthography and phonology in reading Chinese compound words	Jiayu Zhan Hongbo Yu Xiaolin Zhou	论文	Frontiers in Human Neuroscience 第7卷 2013年11月
4	Is it over-respectful or disrespectful? Differential patterns of brain activity in perceiving pragmatic violation of social status information during utterance comprehension	Xiaoming Jiang Yi Li, Xiaolin Zhou	论文	Neuropsychologia 第51卷 2013年7月
5	Even a rich man can afford that expensive house: ERP responses to construction-based pragmatic constraints during sentence comprehension	Xiaoming Jiang Yi Li Xiaolin Zhou	论文	Neuropsychologia 第51卷 2013年6月
6	Knowing that, Knowing what, and Public Communication: Public Announcement Logic with Kv Operators	Yanjing Wang Jie Fan	论文	Proceedings of 23rd International Joint Conference on Artificial Intelligence (AAAI press) 2013年 8月
7	On axiomatizations of public announcement logic	Yanjing Wang Qinxiang Cao	论文	Synthese 第190期增刊 2013 12月
8	概称句词项逻辑的树图判定算法，，	周北海 马丽	论文	《逻辑学研究》 2013年第4期
9	一个关于专名指称存在预设的形式刻画，	周北海 傅庆芳	论文	《逻辑学研究》 2014年第1期，
10	语用推理——逻辑学与语言学的交汇点	姜望琪	论文	《语言学研究》第14辑 高等教育出版社， 2014年1月
11	语用推理之我见	姜望琪	论文	《现代外语》2014年第3期 （总第145期）
12	否定和双重否定的多维度研究	叶文曦	论文	《语言学研究》第14辑，高等教育研究出版社 2014年1月
13	语用等级含义加工的脑与认知机制	蒋晓鸣 周晓林	论文	《语言学研究》第14辑，高等教育出版，2014年1月
14	描述逻辑的概称句扩张	马丽	博士 论文	北京大学博士论文 2014年6月
15	词汇与句法的关联：词义聚合与句法结构义聚合的平行性	董秀芳	论文	《语文研究》2013年第4期
16	趋向动词语法化为体标记：来自汉语历史和方言的证据	董秀芳	论文	《现代中国语研究》第15期：10-24页，朝日出版社（日本），
17	辭彙雙音化對動詞論元結構的影響	董秀芳	论文	《汉语史学报》第十三辑 2013年12月
18	副词“相互/互相”：语义和句法的互动，《中国语文法论丛——木村英树教授还历记念》，	郭锐	论文	东京：白帝社 2013年5月
19	Unsupervised Topic-Sensitive Parser .	Dongchen Li, Xiantao Zhang, Xihong Wu.	论文	Proceeding of the 3rd International Conference on Computer Science and Network Technology.2013.
20	Learning the Taxonomy of Function Words for Parsing	Dongchen Li, Xiantao Zhang, Xihong Wu.	论文	Proceeding of the 25th International Conference on Computational Linguistics (COLING) .2014
21	Exploiting Limited Data for Parsing	Dongchen Li, Xiantao Zhang, Xihong Wu.	论文	Proceeding of the 13th IEEE and ACIS International Conference on Computer and Information Science (ICIS).2014
22	Improved Parsing with Taxonomy of Conjunctions	Dongchen Li, Xiantao Zhang, Xihong Wu.	论文	Proceeding of the 2nd IEEE China Summit and International Conference on Signal and Information Processing (ChinaSIP’ 14). 2014
23	Learning Grammar with Explicit Annotations for Subordinating Conjunctions in Chinese	Dongchen Li, Xiantao Zhang, Xihong Wu.	论文	Proceeding of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL) Student Research Workshop. 2014
24	Learning Latent Variable Grammars From Complementary Perspectives	Dongchen Li, Xiantao Zhang, Xihong Wu.	论文	Proceeding of the 2nd IEEE China Summit and International Conference on Signal and Information Processing (ChinaSIP’14).2014
25	Parsing Named Entity as Syntactic Structure	Xiantao Zhang, Dongchen Li, Xihong Wu.	论文	Proceedings of the15th Annual Conference of the International Speech Communication Association (Interspeech). 2014
26	A New Method on Foot Rolling Trajectory Generation for Human-Like Bipedal Walking	Dingsheng Luo, Yi Wang, Xihong Wu	论文	Proceedings of IEEE International Conference on Mechatronics and Automation (ICMA 2013).2013.
27	Discriminative apprenticeship learning with both preference and non-preference behavior	Dingsheng Luo, Yi Wang, Xihong Wu.	论文	Proceedings of the 12th International Conference on Machine Learning and Applications (ICMLA). 2013.
28	A Multi-stage Approach for Efficiently Learning Humanoid Robot Stand-up Behavior	Luo D.S., Ding Y.D., Cao Z.D. and Wu X.H.	论文	IEEE International Conference on Mechatronics and Automation (ICMA 2014). 2014.