刘爱山 博士 北京航空航天大学:针对机器学习的鲁棒性研究与探索|公开课预习
反机器学习是机器学习和计算机安全的交叉领域。其中，以反样本生成和防御为核心的反深度学习是反机器学习领域最受关注的研究热点。如今，模式识别技术随着深度学习技术的发展取得了长足的进步，从语音和对象识别到现代网络安全任务。然而，这些技术很容易被激进的例子混淆。所谓对抗样本，是指为了鉴定任务而故意混淆、误导检测任务的样本。例如，在图片识别任务中，计数器样本可以根据像素级别干扰图片。人眼无法察觉如此微小的变化，但机器将无法识别它。
从模型设计者的角度来看，模型的安全威胁主要来自外部攻击，可分为训练阶段攻击和推理阶段攻击。训练阶段的恶意攻击主要是针对模型的参数进行轻微的扰动，从而使模型的性能偏离预期。这类攻击主要通过数据中毒来完成，具体实现手段可以分为标签操纵和输入操纵。这两种方法的最终目的都是偏离预期的结果。标签操纵是通过替换训练数据的标签来实现的，输入操纵是通过恶意数据干扰在线模型来实现的。推理阶段有白盒攻击和黑盒攻击，都是以破坏最终结果和背离预期为目的。白盒攻击通过预测模型的所有参数并进行小干扰来实现模型的误分类。与白盒攻击相比，黑盒攻击不需要预测模型参数，因此更符合现实场景。一种方法是在模型推理的模糊区域或边界添加干扰来攻击模型。另外，攻击效果可以通过有趣的阴影模型来实现。通过构建一个功能相似的模型，模仿攻击空间，然后试图对模型进行类似的“白盒攻击”，这种攻击由于模型良好的迁移性能而表现出良好的攻击效果。面对如此多的攻击方式给模型带来的安全隐患和风险挑战，北航博士生刘爱山结合团队多年的研究成果，将对抗样本带来的潜在风险和挑战归纳为模型理解不足、模型防御薄弱、模型测量单一三个方面。此外，还详细说明了每个挑战的基本原因，并给出了解决方案。
北航博士生刘爱山应邀参加了在12月11日晚8点,举行的“机器学习前沿讲座”第11讲，带来了一场主题为《对抗机器学习的鲁棒性研究与探索》的现场讲座。刘爱山博士将基于机器学习中的对抗安全风险提出当前研究中的三个挑战，并针对每个挑战给出相应的解决方案：1)针对模型理解不足的问题，提出多视角融合对抗样本生成策略；2)针对模型防御的脆弱性，提出了一种多空间映射模型对抗强化算法。3)针对单一模型度量问题，提出了一种多粒度关联模型脆弱性度量方法。有兴趣的朋友一定不要错过！
刘爱山是北航的博士生。他的主要研究兴趣是样本对抗、深度学习的健壮性、人工智能的安全性。在ECCV、AAAI、IJCAI等国际顶级人工智能和计算机视觉会议上发表了7篇论文。曾担任多种国际会议和期刊的审稿人(如AAAI、IJCAI、AC MMM、IEEE TIP等。).
课程主题
课程提纲
1.对抗机器学习中的安全风险
2.基于多视角融合的对抗样本生成策略
3.多空间映射的模型对抗强化算法
4.基于多粒度关联的脆弱性度量方法
讲师介绍
刘爱山是北航的博士生。他的主要研究兴趣是样本对抗、深度学习的健壮性、人工智能的安全性。在ECCV、AAAI、IJCAI等国际顶级人工智能和计算机视觉会议上发表论文7篇。曾担任多种国际会议和期刊的审稿人(如AAAI、IJCAI、AC MMM、IEEE TIP等。).
直播信息
直播时间：2033年12月11日36000
直播地点：智能事物开放类小程序
加入讨论群
加入讨论组，除了免费看直播，还可以结识讲师，多和同行、同学学习，深入讨论。扫码加个小助手曼曼(ID: zhidxclass 006)申请。注“姓名-公司/学校/单位-职位/专业”的朋友会先批~