一、竞赛背景

人工智能是引领未来的战略性技术，推动经济社会各领域从数字化、网络化向智能化加速跃升，对国家和城市的未来发展至关重要。

2019年3月至8月，首届中国人工智能·多媒体信息识别技术竞赛在厦门的成功举办，发现一批先进技术、促成了多个企业合作、搭建了人工智能人才交流平台，为人工智能同传统行业深度融合与跨界应用注入了新动能。

在此基础之上，为持续推动和引领人工智能领域的创新发展，将中国人工智能大赛打造成中国第一、国际领先的赛事，不断提升人工智能产业集聚高地影响力，由中央网信办、工业和信息化部、公安部指导，由厦门市政府主办，厦门市委宣传部、厦门市委网信办、厦门市科技局、厦门市工业和信息化局、厦门市公安局、人民网、百度承办的中国人工智能大赛专项赛事——“中国人工智能大赛·语言与知识技术竞赛”即将拉开帷幕。

一直以来，机器阅读理解都是自然语言处理界最受关注、进步最快的技术方向之一。本次竞赛不仅提供海量机器阅读理解的数据及算力平台，而且提供专业的培训，辅以学术界和产业界专家指导，全力支持与帮助所有个人参赛者和参赛团队，通过竞赛推动自然语言处理领域的技术创新与突破。

此次竞赛为中国人工智能大赛的专项赛事，于2019年12月下旬正式拉开帷幕。根据竞赛规则，设置团体赛和个人赛，团体赛面向优质企业和专业团队公开招募，个人赛面向个人开发者公开招募；其中团体赛设置选拔赛和邀请赛。

二、竞赛内容

（一） 项目简介

机器阅读理解(Machine Reading Comprehension)是指让机器阅读文本，然后回答和阅读内容相关的问题。阅读理解是自然语言处理和人工智能领域的重要前沿课题，对于提升机器智能水平、使机器具有持续知识获取能力具有重要价值，近年来受到学术界和工业界的广泛关注。

本次竞赛设立了面向观点型问题的机器阅读理解任务，旨在为研究者提供开放的学术交流平台，进一步提升阅读理解的研究水平，推动语言理解和人工智能领域技术和应用的发展。面向观点型问题的机器阅读理解源于真实的应用场景：在智能搜索问答等产品中，针对用户输入的观点型问题，搜索引擎首先会检索相关候选文档，然后从候选文档中抽取出能够回答用户问题的答案段落摘要，最后给出答案段落摘要所包含的是非观点。本次任务聚焦于预测答案段落摘要中所表述的是非观点极性。

 

Figure 1 面向观点型问题的机器阅读理解技术在智能搜索问答中的应用示例

 

（二） 评价指标

竞赛基于测试集人工标注的观点答案，采用答案分类的准确率（Accuracy）作为评价指标：

（三） 竞赛测试数据集及使用规定

本次竞赛提供基于DuReader的中文是非观点型问题阅读理解数据集。DuReader是一个面向真实应用的、开放域的、最大规模的中文问答阅读理解数据集。DuReader的优势是数据来源真实：DuReader的问题是百度搜索中用户提出的真实问题，文档来自于百度搜索和百度知道，并且答案都是人工标注的。本次竞赛的数据集来自DuReader中的观点型问题，包含7万问答对以及人工标注的答案段落摘要和相应的是非观点极性。

本次竞赛将为选手提供样例数据、训练数据集和测试数据集。其中样例数据同赛题一起发布，选手通过报名审核后可在竞赛官网下载。训练数据集将于正式开赛后统一发放，选手可使用赛事主办方提供的训练数据集进行训练，模型所使用的数据和字段不做限制。测试数据集将分别发放，其中个人赛和团体选拔赛的测试数据集将于评测入口开放前一周发放，邀请赛测试数据集不发放。

在本次竞赛中不允许使用额外的有标注的是非观点训练数据，至于少量的人工标注规则、其他启发式规则数据等需要在竞赛报告中体现。

（四） 任务输入输出格式

1. 任务输入数据：

对于给定的一个观点型问题q，通过q使用搜索引擎检索出的候选文档集合D=d1, d2, ..., dn，以及人工抽取答案P。要求参评系统自动对问题、候选文档以及答案段落摘要进行分析，输出每个答案段落摘要所表述的是非观点极性A。其中，A分为三类 {Yes, No, Depends}，此三类对应字符串明文，输出的答案与测试集中进行全匹配，请注意其中的大小写。下图给出了一个示例。

提供的训练、开发及测试集合将会以对应的一个文档形式提供。其中文档中的每一行为一个样本的数据，数据为json格式化信息，文档编码为utf-8。json数据具体格式如下：

{ "documents":[ { "title":"香蕉能放冰箱吗 香蕉剥皮冷冻保存_健康贴士_保健_99健康网", "paragraphs":[ "本文导读:............." ] } ], "yesno_answer":"No", "question":"香蕉能放冰箱吗", "answer":"香蕉不能放冰箱，香蕉如果放冰箱里，会更容易变坏，会发黑腐烂。", "id":293   }

其中各字段的意义为：

l id：为样本的唯一编号，类型为int；

l question：用户提出的是非观点类问题，类型为string；

l answer 为人工从相关文档中提取出的答案片段，类型为string；

l yesno_answer：为答案对应的是非观点极性，类型为string，并且仅有三个合法的值，其集合为：{“ Yes”, “No“, “Depends“}；

l documents：为搜索引擎根据question检索找到的含有答案来源的相关文档，类型为数组，其中每个文档会含有对应的的页面title（string格式）及段落内容（列表格式）；

2. 任务输出数据：

竞赛输出结果期望保存在一个文本文件中，其中每个样本的结果为一个json数据，编码为utf-8， json数据格式如下（已将一条json数据分行展开）：

{ "yesno_answer":"No", "id":293 }

其中：输出中的id和yesno_answer字段均必须存在。

l id为测试集中提供的样本编号，类型int。用于匹配问题和答案信息，该信息必须和测试集中提供的保持一致；

l yesno_answer：为答案对应的是非观点极性，类型为string，对应内容为集合{“ Yes”, “No“, “Depends“}的其中一个，且大小写应完全一致。

（五） 竞赛数据范围

数据集范围：所有问题均为搜索引擎中按照用户行为分布的观点类的问题，对应的文档为搜索引擎搜索出来的网页，答案片段摘要是经过人工标注的回答此问题的答案片段，是非观点极性是此答案片段摘要相对于问题的观点极性。

是非观点极性：所有极性均在{“ Yes”, “No“, “Depends“}集合中，对应的含义为：

Yes：肯定观点，肯定观点指的是答案给出了较为明确的肯定态度。有客观事实的从客观事实的角度出发，主观态度类的从答案的整体态度来判断。

No：否定观点，否定观点通常指的是答案较为明确的给出了与问题相反的态度。

Depends：无法确定/分情况，主要指的是事情本身存在多种情况，不同情况下对应的观点不一致；或者答案本身对问题表示不确定，要具体具体情况才能判断。

 

三、参赛规则

（一） 报名及竞赛规则

本赛事将分为团体赛和个人赛两类分别开展比赛；团体赛分为选拔赛和邀请赛两个阶段，选拔赛阶段成绩优异的团队方能进入邀请赛。团体赛和个人赛报名所填报的资料、信息应该是准确、真实、有效、合法、完整的，如若发现有虚假和隐瞒，将被取消参赛资格。

具体报名及竞赛规则如下：

1. 个人赛（2019年12月-2020年3月）

1) 报名方式：个人赛通过中国人工智能大赛官方网站（https://ai.ixm.gov.cn/）向个人参赛者开放报名。个人参赛者应在报名截止日之前完成注册，并提交报名材料，主办方审核通过后，以电子邮件形式确认其参赛资格，为其开设比赛相关账户。（报名时间：2019年12月20日15:00~2020年1月20日24:00）

2) 竞赛规则：通过报名审核的个人参赛者，可以下载样例数据，同时获得比赛账号和登录密码，个人参赛者在获得密码后，可以直接登录到比赛平台，进行训练或调试算法。在比赛开始后，个人参赛者通过比赛平台提交结果，最终通过代码审核的个人参赛者根据比赛规则获取相应的奖励。

3) 框架使用：个人参赛者在规定时间内须使用深度学习平台飞桨进行模型的设计、训练和预测，不得使用其他相关平台、框架及任何飞桨中未包含的学习方法参赛。

4) 评测方式：正式比赛开始后，评测入口开放期间，个人参赛者每天最多可提交5次结果，提交额度用尽后, 当日内将无法继续提交结果。个人参赛者在竞赛期间所提交的代码、论文、材料、数据等信息或文件均独立完成，如有作弊行为，将被终止参赛资格或取消成绩。

2. 团体选拔赛阶段（2019年12月-2020年3月）

1) 报名方式：团体选拔赛阶段通过中国人工智能大赛官方网站（https://ai.ixm.gov.cn/）向创业团队、大专院校、科研院所、企事业单位（以下统称为报名单位）开放报名。报名单位应在报名截止日之前完成注册，并提交报名材料，主办方审核通过后，以电子邮件形式确认其参赛资格，为其开设比赛相关账户。（报名时间：2019年12月20日15:00~2020年1月20日24:00）

2) 竞赛规则：通过报名审核的参赛团队，可以下载样例数据，同时获得比赛账号和登录密码，参赛团队在获得密码后，可以直接登录到比赛平台，进行训练或调试算法。在比赛开始后，参赛团队通过比赛平台提交结果，最终通过代码审核的参赛团队根据比赛规则获取相应的奖励。

3) 框架使用：参赛团队在规定时间内须使用深度学习平台飞桨进行模型的设计、训练和预测，不得使用其他相关平台、框架及任何飞桨中未包含的学习方法参赛。

4) 评测方式：正式比赛开始后，评测入口开放期间，每个参赛团队每天最多可提交5次结果，提交额度用尽后, 当日内将无法继续提交结果。参赛团队在竞赛期间所提交的代码、论文、材料、数据等信息或文件均独立完成，如有作弊行为，将被终止参赛资格或取消成绩。

3. 团体邀请赛阶段（2020年4月-2020年6月）

1) 选拔赛阶段成绩优异的团队可进入邀请赛。参加邀请赛的团队通过中国人工智能大赛官方竞赛平台参赛并提交比赛结果，经过线下答辩并通过代码审查的企业获取相应的奖励或表彰。

2) 参赛团队在规定时间内须使用深度学习平台飞桨进行模型的设计、训练和预测，不得使用其他相关平台、框架及任何飞桨中未包含的学习方法参赛。

3) 团体邀请赛的更多比赛规则陆续发布中，敬请期待！

 

（二） 成绩发布规则

1. 最终榜单将在代码审核完毕后由主办方以电子邮件形式告知参赛团队。个人参赛者及参赛团队须在获得比赛成绩的2日内确认，逾期未确认的则由主办方选定公开发布的成绩。最终成绩将在中国人工智能大赛官方网站进行公示。
2. 个人参赛者或参赛团队若对比赛成绩持有异议，可在获得比赛成绩后1日内提出仲裁申请。

四、软硬件环境

本次比赛要求个人参赛者或参赛团队使用深度学习平台飞桨进行模型的设计、训练和预测。

个人赛及团体选拔赛阶段，所有软硬件环境均在AI Studio上实现， AI Studio是基于飞桨平台的一站式AI开发实训平台，为个人参赛者和参赛团队提供在线编程环境、免费GPU算力、海量开源算法和数据。

团体邀请赛阶段的所有软硬件环境将在中国人工智能大赛竞赛平台环境下进行。具体比赛环境和规则，将在邀请赛开赛前发布。

五、奖项设置

对竞赛成绩优秀的个人参赛者，将颁发证书及适当表彰；团体选拔赛成绩优异的参赛团队将受邀进入团体邀请赛，最终获得中国人工智能竞赛组委会颁发的成绩证书。此外，竞赛成绩优秀的个人参赛者及参赛团队均可免费获得专家级AI培训以及长期技术支持，竞赛成绩前三名的参赛团队可获得百度联合“深度学习技术及应用国家工程实验室”成立的黄埔学院-首席AI架构师培养计划的直通名额。同时，入围团体邀请赛的参赛团队可获得厦门市政府专项落户、扶持政策和创新创业培训课程等多种支持。

联系我们

咨询电话：

0592-5051516

0592-5051180

电子邮箱： China_ai_support@xm.gov.cn

地址：厦门市同安区滨海西大道2559号3号楼

更多详细信息请访问大赛官网