- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 关于我们
当有人宣称自动驾驶系统已解放了人们双手之后，你真的敢来一场说走就走的自动驾驶之旅吗？2019年，腾讯科恩实验室曾对某热门车型所搭载自动驾驶系统（2018年的某个版本）进行安全性测试，发现其在图像识别方面，存在被攻击的安全隐患。实验中大多数情况下，自动驾驶系统都能正常识别交通标志、标线，但如果在路面涂刷不起眼的干扰信息，车辆则会根据看到的图像，做出错误决策，驶入反向车道，危险性不言而喻。虽然这个实验仅仅暴露出自动驾驶汽车的安全隐患，但实际上随着人工智能应用日趋普及，AI的安全问题正逐渐显露。
AI应用面临安全挑战
当前主流的人工智能应用，多数是基于传统机器学习或深度学习算法开发的，从开发到生产部署，一般有数据采集、数据预处理、模型训练、模型的评估验证、生产部署等几个环节。
AI应用的各环节及攻击点
黑客往往会基于上述环节对人工智能应用进行攻击，如针对数据采集和预处理阶段的攻击、针对AI模型本身、针对模型使用环节的对抗样本攻击等等。其中，在对抗样本攻击中，通过对输入样本进行细微的修改，人眼不易觉察，但却使AI系统产生错误的输出，在一些关键场景中会造成严重问题，而针对各种对抗样本的攻击，已经有了多种防范方法来降低风险。下文将重点针对AI对抗样本攻击与防护的技术展开探讨。
解密AI对抗攻击技术
对抗样本（Adversarial Examples），即通过对输入样本添加一些非随机性的微小扰动，受干扰之后的输入样本经过AI模型运算，会导致模型以高置信度给出了一个错误的输出结果。如下图所示，一张原本是熊猫的图片，在加入了人为设计的微小噪声扰动后，人眼看上去还是熊猫，但AI模型直接将其识别为长臂猿，且可信度高达99.3%。
对抗样本
当然，还有另外一种对抗样本，样本图像是人类无法看懂的，但AI模型却高概率认为是某个类别的事物。如下图所示，AI模型会识别为0-9的数字。
另类对抗样本
在对抗样本攻击的分类上，如果从技术维度来看，按照对抗样本的实现方式可分为白盒攻击和黑盒攻击两类。白盒攻击：攻击者完全了解被攻击的AI模型的结构、源码、训练数据集等信息，可以实施更加精确的攻击，难度较低，多用于学术研究。常见的白盒攻击算法如L-BFGS、FGSM、BIM、ILCM、DeepFool等。黑盒攻击：攻击者对AI模型和训练数据集的信息了解得不多或者完全不了解。但利用对抗样本具有跨模型、跨数据集迁移的泛化能力，研究被攻击AI模型的输入/输出信息，设计对抗样本进行攻击，这种方式的实现难度比较大。
如果从攻击目标输出结果的维度来看，则可分为：非针对性攻击（non-target attack）：让AI模型输出结果出错即可。针对性攻击（targeted attack）：不仅让模型输出结果错误，而且还要让其输出结果按照攻击者预定的结果来输出。
在了解对抗样本攻击及分类后，对抗样本攻击实际还表现出以下4类特征：
1、不止是深度学习所特有，传统的一些机器学习算法如SVM（支持向量机）、决策树等算法，也会存在此问题。
2、针对物理世界的攻击：前面提到的对抗样本图像，都是在数字世界中进行的，其实有些对抗样本已可针对物理世界进行攻击。如利用对抗样本技术设计体恤衫，表面印有特殊图案，穿戴者可躲避AI目标检测系统，使其无法检测出人体。
3、音频和文本识别也存在对抗样本：如在进行语音识别过程中，如果此时背景音乐是经过精心设计的，那么就有可能使识别结果错误，甚至按照攻击者的意图来输出结果。
语音对抗样本
在文本处理任务中，也存在类似问题，在文本段落中，增加一些特殊的词汇或标点，或者在不改变语义情况下调整个别句子，人类不易察觉，但AI模型却无法按照预期输出正确的结果。
4、对抗样本的正面应用：前面说了那么多的对抗样本的负面应用，其实合理的使用该技术，也能产生正向的价值。比如日常生活中经常接触到的验证码机制，采用对抗样本的技术，就可让黑灰产业的AI验证码识别模型的识别率大幅下降。
对抗验证码
对抗攻击的防御方法
对于对抗样本进行分析，尤其是图像样本，经过放大后还是可以观察到一些细微的噪声，导致图像细节有些变化。因此，很自然的想法就是在图像输入到AI模型之前，先进行图像滤波、去噪的预处理，将图像进行一定程度的修复还原，起到一定程度的防御作用。
另外一种思路，就是可以将各种类型的对抗样本增加到AI模型训练数据集中，这样训练出来的模型，先天就对部分AI对抗样本具有免疫功能，一定程度上提高系统的鲁棒性，但对抗样本的生成方法层出不穷，难以收集完备的对抗样本数据集。
还有一些方法是通过修改AI模型的网络结构，达到抵抗攻击的目的，感兴的趣读者可以阅读相关文献。
AI应用安全的问题，直接关系到AI应用在各行业领域的推广，对抗样本攻击是AI安全的一个重要方向，越来越引起学术界和工业界的重视。目前面向AI应用的攻击和防护的研究还处于初级阶段。未来，通过广大科研工作者的努力，相信会厘清对抗攻击方法的背后机理，最终可以形成一种统一高效的防御体系，为AI生态保驾护航。
服务
