图像对抗攻击

深度神经网络目前已经获得了突破式发展,并且在多个领域得到了广泛应用。 然而,深度神经网络同样面临着被攻击的威胁,也就是“对抗样本”: 攻击者通过在源数据上增加难以通过感官辨识到的细微改变,让神经网络模型做出错误的分类决定。
本团队通过研究对抗样本的生成原理和算法实现,有助于分析基于深度学习的系统存在的安全漏洞, 并针对此类攻击建立更好的防范机制,加速机器学习领域的进步。


Universal Physical Camouflage Attacks on Object Detectors

简介: 论文提出了一种物理场景下对抗攻击检测模型的方法。现有的方法通常只能生成个体级别的伪装图案, 且约束物体需具备刚体或平面的特征(如路牌、车等),难以在实际中应用。针对这些缺陷, 该工作提出了一种通用级别的伪装攻击框架,可以对一类中所有实例物体进行有效的攻击, 且在非刚体与非平面的攻击场景下保持了较高的鲁棒性。该方法的主要思路包括两部分:
(1)数据生成阶段,即通过同时对复杂对象的内在性质(如形变、遮挡等)与外在环境(如光照、角度等) 进行物理仿真,生成拟真数据集;
(2)联合攻击阶段,即基于生成的数据集对RPN网络和分类网络同时展开攻击, 结合语义约束降低攻击目标的置信度。两个阶段以迭代优化的方式生成伪装图案。 此外,针对该领域缺少评估环境的困境,该工作构建了一个参数可控的合成数据库(AttackScenes)。 通过大量的实验证明,该工作提出的方法不仅能在虚拟场景和现实世界中对目标检测模型进行有效的攻击, 还展现出较好的泛化性与迁移性。

Computer Vision and Pattern Recognition (CVPR), 2020
[论文] [项目主页]

G-UAP: Generic Universal Adversarial Perturbation that Fools RPN-based Detectors

简介: Our paper proposed the G-UAP which is the first work to craft universal adversarial perturbations to fool the RPN-based detectors. G-UAP focuses on misleading the foreground prediction of RPN to background to make detectors detect nothing.

Asian Conference on Machine Learning (ACML), 2019
[论文]

Back to top