您现在的位置是:首页 > 业界业界

CVPR 2022 AI 安全挑战赛:面向复杂场景的鲁棒机器学习大赛

查看 cc博主 的更多文章cc博主2022-03-11【业界】58人已围观

近日,为了更好地推动安全可靠AI模型相关领域的技术研究与人才培养,鼓励研究者打造更安全、更可靠的AI,商汤科技联合北京航空航天大学共同发布,面向技术开发者和在校学生的科技类竞赛活动“面向复杂场景的鲁棒机器学习大赛Robust Models towards Open-world Classification”(大赛官网: aisafety.sensetime.com)。

大赛以CVPR2022 Workshop:The Art of Robustness: Devil and Angel in Adversarial Machine Learning 为依托,该Workshop将汇聚来自全球计算机视觉、机器学习与智能安全领域的专家学者,围绕对抗机器学习的最新进展和发展展开研讨与分享,以推动安全可信人工智能技术进步。比赛2022年3月正式开赛,希望参与者发挥创新思维与创新能力,开发以数据为中心的新算法,例如数据增强、标签细化、制作对抗性数据,甚至设计来自其他领域的知识融合算法、数据集,加速图像分类中的对抗性鲁棒性技术研究,以达到更好地训练高效稳定的机器学习模型的目标。

CVPR 2022  AI 安全挑战赛:面向复杂场景的鲁棒机器学习大赛 第1张 

随着人工智能技术发展,如今AI模型已广泛应用于智慧城市、智能工厂、自动驾驶等公共、生活和生产领域,人工智能已经成为信息基础设施的重要组成。但在这个过程中,人工智能也暴露出一些风险隐患,例如用户和业界对于对抗安全、模型鲁棒性等问题的关注度持续提升。商汤科技很早就启动了相关研究和布局,针对对抗安全、模型鲁棒性以及隐私保护等问题,建立和完善了AI安全平台技术体系,打造覆盖全行业云边端平台更安全的“盾”,推动人工智能更安全、更公平、更可持续性地发展,以提升人的福祉,推动人类社会进步。

此次大赛由商汤科技和北京航空航天大学刘祥龙教授团队合作举办,希望通过比赛吸引更多研究者共同参与到,推动安全、可靠的人工智能技术发展中来。刘祥龙教授团队多年来深耕人工智能安全领域,不断探索可信赖人工智能前沿技术,在对抗攻防、模型评测和可解释理论方面成果丰硕,在国内外均具有一定影响力。比赛还得到了OpenI启智新一代人工智能开源开放平台的资源协助和大力支持。

双赛道对抗竞赛,聚焦开放世界场景

当前的机器学习竞赛大多在封闭数据集下寻找鲁棒的机器学习模型,然而在开放世界场景中,噪声数据的多样性(如对抗扰动、自然噪声、对抗补丁、对抗光线)以及分类类别的不确定性将会给鲁棒模型带来极大的挑战。

因此,本次比赛的目的是加速开放世界场景下的鲁棒模型研究。希望通过比赛,鼓励研究者开发面向开放世界的对抗防御算法。面对多种多样的对抗攻击算法和真实世界中的各种各样的场景,在测试类别不确定等因素下,探究鲁棒模型的生产方式,促进鲁棒防御模型的发展。

本次比赛共有两条赛道。

赛道1:分类任务防御模型竞赛

第一赛道的目标是获得鲁棒性好的模型,可以适应各种各样的攻击样本。

第一赛道分为初赛和复赛两个阶段。初赛阶段,比赛会分别释放训练集和测试集,参赛者仅能使用该阶段释放的训练集训练鲁棒模型。训练集为正常的分类数据,测试集包含正常分类数据和攻击样本。第一赛道的攻击样本包括但不限于通过对抗攻击产生的对抗样本。选手需要得到足够鲁棒的防御模型,能够对干净样本和对抗样本进行正确分类。初赛阶段选手需要将给定测试集的预测结果提交。复赛阶段,参赛者同样仅能使用该阶段释放的训练集训练鲁棒模型。但与初赛不同的是,参赛者需要提交训练好的原始模型,平台将对提交的模型进行评测。数据集的构成上,初赛为20类,复赛为100类。

赛道 2:OpenSet对抗噪声检测模型

第二赛道的目标是对对抗攻击产生的对抗样本做区分。在第二个赛道中测试集为开放类别,即和训练集合的类别没有交集。

第二赛道同样分为初赛和复赛两个阶段。初赛阶段,比赛会分别释放训练集和测试集,参赛者仅能使用该阶段释放训练接做训练,得到可以区分正常样本和对抗样本的模型。 在复赛阶段,选手同样需要提交模型到平台进行验证。

比赛规则

本次比赛的提交评测,在主办方提供的评测平台上进行。比赛采用初赛、初赛和复赛阶段的评估指标均采用识别准确率。初赛成绩排名前20名晋级复赛,最终成绩按照干净样本下的准确率得分占比40%,噪声样本下的准确率得分占比60%进行加权得到总分进行排名。

l 在比赛中只允许使用各个阶段提供的训练数据集进行训练,其他数据集不允许用于模型的训练。

l 复赛提交ONNX模型,模型需要为FP32模型,模型体积不大于120M,计算量不大于 5GFLOPs。输入图片的格式为3x224x224,每个像素归一化到[0,1]。

l 不允许为训练集合提供任何外部数据。

l 禁止模型融合。简单来说,单独训练多个模型然后对结果融合是禁止的,主办方会对最终提交的代码进行审核。

l 禁止在模型提交环节使用超过提交规定规模(包括FLOPs和体积)的模型对提交模型进行蒸馏。

l 禁止对测试集样本手工标记。

l 参与者必须在每个赛道的第二阶段提交中附带一份技术报告,其中包括对其提交的详细消融研究(建议长度1-4页)。报告将会在竞赛官网进行公开。

本次比赛总奖池1.5万美元。其中赛道1总奖金池8000美元,取前6名,前六名奖金分别为3000、2000、1500、800、500、200美元;赛道2总奖金池7000美元,取前3名,前三名奖金分别为4000、2000、1000美元。比赛时间为3月11日-5月21日,并将在6月发布及公示获奖结果,获奖队伍还将受邀参加CVPR 2022的相关主题Workshop进行分享。

建立AI安全平台技术体系,持续推动技术发展

如今推动可信人工智能技术发展,实现人工智能的技术可控已成为全球共识。对于任何新兴技术的应用,都必须保证其安全性与可靠性,必须齐备可验证、可审查、可信任、负责任等关键属性。与历史上其他重要技术发展普遍会经历的一样,人工智能也正在经历从技术研发到大量应用的关键阶段。

商汤科技一直秉持平衡发展的 AI 伦理观,希望在技术可控、以人为本和可持续三条核心原则的基础上,寻求均衡发展,希望用人工智能技术推动社会的进步。近年来,商汤科技建立和完善了AI安全平台技术体系。在数据安全及保护方面,商汤科技成为第一家获得全部三项 ISO/IEC 隐私信息管理系统、信息安全管理和个人身份信息保护认证的人工智能公司。同时,商汤科技还通过基于真实场景下的数据集的算法验证与评测,围绕“AI 算法的数据隐私保护”、“AI 算法的鲁棒性”、“AI 算法的公平性”等多个方面进行,从产品源头确保人工智能算法的可信品质。

依托深厚的技术累积、人才储备、行业经验等,未来商汤科技在为用户提供在行业内广泛验证使用、具备行业影响力的可信任AI解决方案的同时,还将引领人工智能行业产品安全标准体系的建立,全方位为AI行业的健康持续发展保驾护航。

雷峰网(公众号:雷峰网)

Tags:

文章评论