人工智能学院研究生参与ICT&UCAS&PCL联合团队在常识推理评测世界大赛中获优异成绩 取得单模型性能突破

  • 人工智能学院
  • 日期:2023-01-19
  • 5610

  1月16日,由中国科学院大学、中国科学院计算技术研究所、鹏城实验室组成的联合团队(ICT&UCAS&PCL)提出的模型以80.44%的成绩荣登常识推理挑战赛CommonsenseQA榜单,刷新单模型(single model)世界纪录,超越由英国艾伦图灵人工智能研究院提出的单模型UnifiedQA(79.1%),成为单模型第一名。该技术由人工智能学院裴正奇同学(系人工智能学院2022级电子信息专业研究生)在中科院计算所王树徽研究员的指导下完成。

  CommonsenseQA(CSQA)评测任务由以色列特拉维夫大学创办,数据集包含1.2万个常识推理问题,每道题包含一个正确答案和四个干扰项,需要算法模型从五个选项中选出正确的答案。CSQA自2018年启动以来,累积吸引了微软、Facebook AI、斯坦福、阿里达摩院、艾伦AI研究院、CMU等国际知名机构参与。自从CSQA大赛官方禁用ConceptNet以来,榜单已有一年未更新,此前的单模型(single model)第一名是艾伦AI研究院提出的UnifiedQA,多模型(ensemble model)第一名是华为提出Albert+SFR。近日由我校团队以动力学类脑架构作为切入点,提出的单模型在官方盲评测试集的准确率比UnifiedQA高1.34%,且其参数规模仅为UnifiedQA的2.12%。

  常识推理是难度最高的自然语言处理(NLP)任务之一,需要机器算法充分理解自然语言中错综复杂的知识,并且具备一定的因果推理能力,是实现通用人工智能的必经之路。

裴正奇