图像对抗攻击

深度神经网络目前已经获得了突破式发展,并且在多个领域得到了广泛应用。 然而,深度神经网络同样面临着被攻击的威胁,也就是“对抗样本”: 攻击者通过在源数据上增加难以通过感官辨识到的细微改变,让神经网络模型做出错误的分类决定。
本团队通过研究对抗样本的生成原理和算法实现,有助于分析基于深度学习的系统存在的安全漏洞, 并针对此类攻击建立更好的防范机制,加速机器学习领域的进步。


一种基于进化策略和注意力机制的黑盒对抗攻击算法

简介: 深度神经网络在许多计算机视觉任务中都取得了优异的结果,并在不同领域中得到广泛应用。 然而研究发现,在面对对抗样本攻击时,深度神经网络表现得较为脆弱,严重威胁着各类系统的安全性。 在现有的对抗样本攻击中,由于黑盒攻击具有模型不可知性质和查询限制等约束,更接近实际的攻击场景, 但现有的黑盒攻击方法存在攻击效率较低与隐蔽性弱的缺陷。因此,本文提出了一种基于进化策略的黑盒对抗攻击方法, 充分考虑了攻击过程中梯度更新方向的分布关系,自适应学习较优的搜索路径,提升攻击的效率。 在成功攻击的基础上,结合注意力机制,基于类间激活热力图将扰动向量分组和压缩优化, 减少在黑盒攻击过程中积累的冗余扰动,增强优化后的对抗样本的不可感知性。 通过与其他四种最新的黑盒对抗攻击方法(AutoZOOM,QL-Attack,FD-Attak,D-based Attack) 在七种深度神经网络上进行对比,验证了本文提出方法的有效性与鲁棒性。

软件学报, 2020

Universal Physical Camouflage Attacks on Object Detectors

简介: 论文提出了一种物理场景下对抗攻击检测模型的方法。现有的方法通常只能生成个体级别的伪装图案, 且约束物体需具备刚体或平面的特征(如路牌、车等),难以在实际中应用。针对这些缺陷, 该工作提出了一种通用级别的伪装攻击框架,可以对一类中所有实例物体进行有效的攻击, 且在非刚体与非平面的攻击场景下保持了较高的鲁棒性。该方法的主要思路包括两部分:
(1)数据生成阶段,即通过同时对复杂对象的内在性质(如形变、遮挡等)与外在环境(如光照、角度等) 进行物理仿真,生成拟真数据集;
(2)联合攻击阶段,即基于生成的数据集对RPN网络和分类网络同时展开攻击, 结合语义约束降低攻击目标的置信度。两个阶段以迭代优化的方式生成伪装图案。 此外,针对该领域缺少评估环境的困境,该工作构建了一个参数可控的合成数据库(AttackScenes)。 通过大量的实验证明,该工作提出的方法不仅能在虚拟场景和现实世界中对目标检测模型进行有效的攻击, 还展现出较好的泛化性与迁移性。

Computer Vision and Pattern Recognition (CVPR), 2020
[论文] [项目主页]

G-UAP: Generic Universal Adversarial Perturbation that Fools RPN-based Detectors

简介: Our paper proposed the G-UAP which is the first work to craft universal adversarial perturbations to fool the RPN-based detectors. G-UAP focuses on misleading the foreground prediction of RPN to background to make detectors detect nothing.

Asian Conference on Machine Learning (ACML), 2019
[论文]

Back to top