近年来，因技术局限或恶意应用导致的人工智能安全问题日益突出，但由于人工智能仍属于新兴方向，专项人才较少，缺乏系统性的研究队伍，外界对人工智能安全问题的认识不足。

9月16日，由中关村国家实验室、国家工业信息安全发展研究中心等联合主办的首届全国人工智能安全大赛落幕，赛题围绕深度伪造安全、自动驾驶安全、人脸识别安全对应的是人工智能三个技术方向，也是公众高度关注的领域。和其他网络安全问题不同，人工智能安全风险更普遍、复杂程度高、战略意义凸显。业内人士认为，要实现人工智能发展和安全的良性互动，需要在数据安全、算法可靠、应用可控方面下功夫。

魏蔚/摄

“神奇的贴纸”

如果有人将一张“神奇的贴纸”放置在面部，就可以使人脸识别门禁系统误认为是你，从而轻而易举打开大门；同样是这张“神奇的贴纸”，把它放置在眼镜上，就可以1秒解锁你的手机人脸识别，获得你的隐私。这是首届人工智能安全大赛颁奖典礼现场展示的真实攻防场景。

作为人工智能技术的典型应用，人脸识别已广泛渗透于社会生活的多个领域，如金融场景的刷脸支付、安防场景的人脸闸机验证等。但在大规模落地的同时，人脸识别系统也面临安全挑战，比如容易受到对抗样本攻击，即通过对人脸图像做微小的改动，就能够欺骗识别系统作出错误的判断，破坏人脸认证系统，可能引发重大损失。

上述“神奇的贴纸”，其实就是“对抗样本攻击”，通过在输入数据中添加扰动，使得系统作出错误判断。

据工商银行金融研究院安全攻防实验室主管专家苏建明介绍，人脸识别流程依次是动作活体检测、现场人脸采集、人脸特征上送、静默活体检测、人脸比对，对应的典型攻击分别是打印照片攻击、ROM注入摄像头劫持攻击、报文篡改攻击、高精度伪造攻击、人脸融合对抗攻击。

他认为，“人工智能安全治理需要广泛协作和开放创新，需加强政府、学术机构、企业等产业各参与方的互动合作，建立积极的生态规则。政策层面加快人工智能的立法进程，加强对人工智能服务水平、技术支撑能力等专项监督考核力度。学术层面，加大对人工智能安全研究的激励投入，通过产学研合作模式加快科研成果的转化与落地。企业层面，逐步推动人工智能技术由场景拓展向安全可信发展转变，通过参与标准制定，推出产品服务，持续探索人工智能安全实践及解决方案”。

自动驾驶和AI换脸有风险

其实，对抗样本攻击这一漏洞在自动驾驶感知系统同样存在。瑞莱智慧CEO田天表示，正常情况下，在识别到路障、指示牌、行人等目标后，自动驾驶车辆就会立即停车，但在目标物体上添加干扰图案后，车辆的感知系统就会出错，径直撞上去。

他进一步解释，“在恶劣天气、强日光照射等极端场景中自动驾驶车辆极易发生误判。同时，对抗样本等算法漏洞的存在，导致能够通过修改道路车辆等目标物的颜色、纹理特征，使车辆目标检测模型失效”。

人工智能技术的滥用，最典型的就是深度合成技术，即“AI换脸”。不法分子利用生物特征生成软件伪造特定信息，用于电信诈骗、编造虚假新闻等，给个人和社会造成了严重的负面影响。通过分析伪造音视频的相似性，来溯源不同伪造内容是否来自同一种或同一类生物特征生成软件，成为有效应对方案。

来自清华大学人工智能研究院、瑞莱智慧、国家工业信息安全发展研究中心等发布的《深度合成十大趋势报告（2022）》数据,据不完全统计，创作者在互联网平台中发布的深度合成内容的数量呈高速增长，以视频为例，2021年新发布的深度合成视频的数量，较2017年已增长10倍以上。图像和视频方向的产品和服务在深度合成应用初期最为普遍，但是由于产品质量参差不齐且容易侵犯用户隐私，当监管规范到位后其数量逐渐减少。如2021年被广泛讨论FacePlay等应用，只需用户上传一张人脸照片，就可快速生成不同服装场景的图片和视频。

既要发展也要保证安全

人工智能对抗攻防包括对抗样本、神经网络后门、模型隐私问题等多方面技术。模型有错误就需要进行及时的修复，中国科学院信息安全国家重点实验室副主任陈恺提出“神经网络手术刀”的方法，通过定位引发错误的神经元，进行精准“微创”修复。陈恺表示，不同于传统的模型修复工作需要重新训练模型，或者依赖于较大量的数据样本，这种方式类似于“微创手术”，只需极少量或无需数据样本，能够大幅提升模型修复效果。

统筹发展和安全是每项新技术发展过程中面临的必然问题，如何实现高水平发展和高水平安全的良性互动，也是当前人工智能产业发展的重要命题。

针对开放环境下的人工智能系统面临的诸多安全挑战，北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙表示，目前人工智能算法及系统的安全性缺乏科学评测手段，难以有效评测完整的人工智能模型和算法能力。在他看来，从技术上来看应形成从安全性测试到安全性分析与安全性加固的完整技术手段，最终形成标准化的测试流程。未来的人工智能安全应该围绕从数据、算法到系统各个层次上的全面评测，同时配合一套整体的从硬件到软件的安全可信计算环境。

北京商报记者 魏蔚