人工智能安全白皮书.pdf

人工智能 安全 白 皮书 （ 2018年） 中国信息通信研究院 安全研究所 2018年 9月 版权声明 本白皮书 版权属于 中国信息通信研究院 （ 工业和信息化部电信研究院 ）安全研究所 ， 并受法律保护 。 转载、摘编或利用其它方式使用 本 白皮书 文字或者观点的，应 注明 “ 来源 中国信息通信研究院 安全研究所 ” 。违反上述声明者，本 单位 将追究其相关法律责任。前 言 人工智能作为引领未来的战略性技术，日益成为驱动经济社会各领域从数字化、网络化向智能化加速跃升的重要引擎。近年来 ， 数据量爆发式增长、 计算能力显著性提升、深度学习算法突破性应用，极大地推动了人工智能发展。自动驾驶、 智能 服务 机器人、智能安防、智能投顾等人工智能新产品新业态层出不穷，深刻地改变着人类生产生活，并对人类文明发展和社会进步产生广泛而深远的影响。 然而，技术的进步往往 是一把“双刃剑”，人工 智能 作为一种通用目的技术，为保障国家网络空间安全、提升人类经济社会风险防控能力等方面提供了新手段和新途径。但同时，人工智能在技术转化和应用 场景落地 过程中，由于技术的不确定 性 和应用的广泛性，带来冲击网络安全、社会就业、法律伦理等问题，并对国家政治、经济和社会安全带来诸多风险和挑战。世界主要国家都将人工智能安全作为人工智能技术研究和产业化应用的重要组成部分， 大力 加强 对 安全风险的 前瞻 研究和 主动预防 ， 积极推动人工 智能 在 安全 领域 应用， 力图在新一轮人工智能发展浪潮中 占得先机 、赢得主动 。 本白皮书从人工智能安全内涵出发，首次归纳 提出 了人工智能安全体系架构，在系统梳理 人工智能安全 风险和 安全 应用情况的基础上，进一步总结了国内 外 人工智能安全的管理现状，研究 提出 了 我国 人工智能安全风险应对与未来发展建议。 1 目 录 一、 人工智能安全内涵与体系架构 1 （一） 人工智能基本概念与发展历程 1 （二） 人工智能安全内涵 2 （三） 人工智能安全体系架构 3 二、 人工智能安全风险分析 6 （一） 网络安全风险 6 （二） 数据安全风险 8 （三） 算法安全风险 9 （四） 信息安全风险 . 12 （五） 社会安全风险 . 13 （六） 国家安全风险 . 15 三、 人工智能安全应用情况 . 16 （一） 网络信息安全应用 . 17 （二） 社会公共安全应用 . 20 四、 人工智能安全管理现状 . 23 （一） 主要国家人工智能安全关注重点 . 23 （二） 主要国家人工智能安全法规政策制定情况 . 26 （三） 国内外人工智能安全标准规范制定情况 . 29 （四） 国内外人工智能安全技术手段建设情况 . 31 （五） 国内外人工智能重点应用的安全评估情况 . 33 （六） 国内外人工智能人才队伍建设情况 . 34 （七） 国内外人工智能产业生态培育情况 . 36 五、 人工智能安全发展建议 . 37 （一） 加强自主创新，突破共性关键技术 . 37 （二） 完善法律法规，制定伦理道德规范 . 38 2 （三） 健全监管体系，引导产业健康发展 . 39 （四） 强化标准引领，构建安全评估体系 . 40 （五） 促进行业协作，推动技术安全应用 . 40 （六） 加大人才培养，提升人员就业技能 . 41 （七） 加强国际交流，应对共有安全风险 . 42 （八） 加大社会宣传，科学处理安全问题 . 43 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 1 一、 人工 智能 安全 内涵 与 体系架构 （一） 人工 智能 基本概念 与 发展 历程 1、 人工 智能 基本概念 计算机之父 阿兰 · 图灵 在 1950 年的 论文计算机器 与智能中提出了 “ 机器 智能 ” 以及 著名 的 “ 图灵测试 ” 如果有超过 30的测试者不能确定出被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人 类智能。 1956 年 ， 在 美国 达特茅斯会议上，科学家麦卡锡首次 提出 “ 人工 智能 ” 人工 智能就是 要 让机器的行为看起来更像人 所 表现出的 智能 行为 一样。 在 人工智能概念提出时，科学家主要确定了智能的判别标准和研究目标，而没有回答智能的具体内涵。之后， 包括 美国 的 温斯顿 1、 尼尔逊 2和中国 的钟义信 3等知名 学者都 对人工智能内涵 提出了 各自 见解 ，反映人工智能的基本思想和基本内容 研究如何应用计算机 模拟人类 智能行为的基本理论、方法和技术 。 但是， 由于人工 智能 概念 不断演进， 目前 未 形成 统一 定义 。 结合业界 专家观点 ， 项目组 研究 认为， 人工 智能是 利用 人为 制造 来 实现 智能机器或者 机器上的智能系统，模拟、延伸 和 扩展 人类 智能 ，感知 环境，获取知识 并使用 知识 获得最佳 结果的理论 、方法 和 技术 。 2、 人工智能发展 历程 人工 智能发展 经历 多次低谷 ，本轮 发展呈现加速 态势 。 人工 智能自 1956 年 诞生 至今 已有六 十 多年的历史，在 其发展 过程中， 形成 了符号 主义、连接主义、行为主义等多个学派， 取得 了 一些 里程碑 式研1人工智能是计算机科学的一个领域，它主要解决如何使计算机感知、推理和行为等问题。 2人工智能是关于知识的学科怎样表示知识以及怎样获得知识并使用知识的科学。 3人工智能是人类智慧的部分模拟 。 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 2 究成果 。 但是， 受到各个阶段科学认知 水平和 信息处理能力 限制 ，人工 智能 发展经历 了多轮潮起潮落， 曾 多次 陷入低谷 。 进入 新世纪以来，随 着 云计算 和大数据技术 的 发展 ， 为人工 智能提供了超强算力和海量数据 ， 另外 ， 以 2006 年深度学习 模型 的提出为标志， 人工 智能核心算法取得重大突破 并 不断优化 ， 与此同时， 移动互联网 、 物联网 的 发展 为人工智能技术落地 提供了 丰富 应用 场景 。 算力、 算法、数据和应用 场景 的共同作用， 激发 了新一轮人工智能发展浪潮 ，人工 智能技术与 产业发展呈现加速态势 。 当前人工 智能 仍 处于弱人工智能阶段 ， 主要 是面向特定领域的专用智能 。 从 整体发展阶段 看 ， 人工智能可划分为弱人工智能、强人工智能和超人工智能三个阶段。 弱人工智能 擅长于在特定领域、有限规则内 模拟 和延伸人的智能 ； 强 人工智能 具有意识、自我 和 创新思维，能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等 人类 级别智能 的 工作 ；超人工 智能是 在 所有领域都 大幅 超越 人类智能 的 机器智能。 虽然 人工智能 经历了多轮发展，但仍 处于弱人工智能阶段 ， 只是处理特定领域问题的专用智能 。 对于何时 能达到 甚至 是否能 达到强人工智能 ，业界 尚未 形成共识 。 （二） 人工 智能安全 内涵 由于人工 智能 可以 模拟 人类智能，实现对 人脑 的替代 ，因此， 在每一轮人工智能发展浪潮中， 尤其是 技术兴起时，人们 都非常 关注人工智能 的 安全 问题 和伦理影响 。 从 1942 年 阿西莫 夫 提出 “ 机器人三大定律 ” 到 2017 年霍金 、马斯克 参与 发布的 “ 阿西洛马 人工智能 23人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 3 原则 ” ，如何 促 使人工智能 更加 安全和道 德 一直 是人类 长期 思考 和 不断深化 的命题 。当前 ， 随着人工 智能技术快速发展和产业 爆发 ， 人工智能 安全越发 受到 关注 。 一方面， 现阶段 人工智能 技术 不成熟 性导致安全 风险，包括 算法 不可解释性 、 数据强依赖性 等技术局限性问题，以及 人为恶意应用， 可能 给网络 空间 与 国家社会 带来 安全风险 ； 另一方面 ， 人工 智能 技术 可应用于 网络 安全与公共安全领域， 感知、预测、预警 信息 基础设施和社会 经济 运行的重大态势，主动决策反应， 提升网络 防护能力与 社会治理 能力 。 基于以上 分析 ， 项目组 认为，人工智能安全 内涵包含 一 是降低人工 智能不成熟性以及恶意应用 给网络 空间和国家社会带来的安全风险 ；二是推动 人工智能在网络安全 和 公共安全 领域 深度应用 ；三是构建人工 智能安全管理体系， 保障 人工智能安全 稳步 发展。 （三） 人工智能 安全体系 架构 基于对人工智能安全 内涵 的理解，项目组提出 覆盖 安全风险、安全应用、安全管理三个维度的人工智能安全体系架构。 架构中 三个维度彼此独立又相互依存。其中， 安全风险是人工智能 技术 与 产业 对 网络 空间 安全 与 国家社会安全造成的负面影响 ； 安全应用则是探讨人工智能技术在 网络 信息 安全领域 和 社会公共安全领 域 中的具体应用方向 ； 安全管理从有效管控人工智能安全风险和积极促进人工智能技术在安全领域应用的角度， 构建人工 智能安全管理体系 。 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 4 图 1 人工 智能安全体系 架构图 1、人工智能安全风险 人工智能 作为 战略性 与 变革性 信息 技术， 给 网络空间安全增加了新的 不确定性，人工智能 网络 空间 安全风 险包括 网络安全风险、数据安全风险、算法安全风险和 信息安全风险。 网络 安全 风险 涉及网络设施 和 学习框架的漏洞、后门 安全 问题，以及 人工智能技术 恶意 应用 导致 的系统 网络 安全风险 。 数据安全 风险 包括 人工 智能系统 中 的训练数据 偏差 、 非授权 篡改以及人工 智能引发的 隐私数据 泄露 等 安全风险。 算法安全 风险 对应技术层中算法设计、决策 相关的 安全 问题 ，涉及 算法黑箱、算法 模型缺陷 等安全 风险。 信息 安全 风险 主要包括人工智能 技术 应用于信息传播 以及 人工智能产品和应用 输出的信息内容 安全问题。 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 5 考虑到 人工智能与实体 经济 的深度融合发展， 其 在 网络空间的安全风险 将 更加直接地传导到社会经济 与国家政治 领域 。 因此 ，从 广义上 讲 ， 人工智能安全风险 也涉及 社会 安全 风险和国家 安全 风险。 社会安全风险 是指人工智能 产业化 应用带来的结构性失业、对社会伦理道德的冲击以及可能给个人 人身 安全带来损害。 国家安全风险 是指人工智能在 军事 作战 、社会舆情等领域应用给国家军事安全和政体安全带来的风险隐患。 2、人工智能安全应用 人工智能因其突出的数据分析、知识提取、自主学习、智能决策、自动控制等 能力， 可 在网络 防护 、 数据 管理 、 信息 审查 、 智能安防、金融 风控 、 舆情 监测等 网络信息安全 领域 和社会 公共安全领域 有 许多创新性应用。 网络防护 应用是指利用人工智能算法开展入侵检测、恶意软件检测、安全态势感知、威胁预警等技术和产品的研发。 数据管理 应用是指利用人工智能技术实现对数据分级分类、防泄漏、泄露溯源等数据安全保护目标。 信息审查 应用是指利用人工智能技术辅助人类对表现形式多样，数量庞大的网络 不良 内容进行快速审查。 智能安防 应用是指利用人工智能技术推动安防领域从被动 防御向主动判断、 及时预警的智能化 方向发展 。 金融风控 应用是指利用人工智能技术提升信用评估 、风险 控制 等工作效率和准确度，并协助政府部门进行 金融 交易 监管 。 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 6 舆情 监测 应用是指利用 人工智能 技术 加强 国家 网络 舆情 监控能力 ， 提升社会 治理能力， 保障 国家安全 。 3、人工智能安全管理 结合人工智能安全风险以及在网络空间安全领域中的应用，项目组研究提出包涵法规政策、标准规范、技术手段、安全评估、人才队伍、可控生态六个方面的人工智能安全管理思路。实现有效管控人工智能安全风险、积极促进人工智能技术在安全领域应用的综合目标。 法规政策 方面，针对人工智能重点应用领域和突出的安全风险，建立健全相应的安全管理法律法规和管理政策。 标准规范 方面，加强人工智能安全要求、安全评估评测等方面的国际、国内和行业标准的制定完善工 作。 技术手段 方面，建设人工智能安全风险监测预警、态势感知、应急处置等安全管理 的 技术 支撑能力 。 安全评估 方面，加快人工智能安全评估评测指标、方法、工具和平台的研发， 构建 第三方安全评估评测 能力 。 人才队伍 方面，加大人工智能人才教育 与培养，形成 稳定 的人才供给和 合理 的人才梯队 ， 促进 人工智能安全 持续 发展。 可控生态 方面 ， 加强人工 智能产业 生态中 薄弱环节的研究与投入，提升产业 生态的自我主导能力， 保障 人工智能安全 可控发展。 二、 人工智能安全 风险分析 （一） 网络安全风险 人工 智能 学习 框架和组件存在 安全 漏洞风险 ， 可 引发 系统安全 问人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 7 题 。 目前， 国内 人工智能产品 和 应用的 研发主要是基于 谷歌、微软 、亚马逊、脸书 、百度 等 科技巨头 发布 的 人工智能 学习 框架 和组件。但是， 由于 这些开源框架和组件缺乏严格的测试管理和安全认证，可能存在漏洞和后门等安全风险 ， 一旦 被攻击者恶意利用 ，可 危及人工智能产品 和 应用的 完整 性 和可用性 ，甚至 有可能导致 重大 财产 损失 和 恶劣 社会 影响 。近年来， 国内网络 安全 企业的 研究 团队曾屡次发现TensorFlow、 Caffe 等 软件 框架及其 依赖库的 安全漏洞， 这些 漏洞可被 攻击者 利用 进行 篡改或窃取人工智能 系统 数据和 信息 ，导致 系统 决策错误 甚至崩溃 。 人工 智能 技术 可提升网络攻击 能力 ， 对现有 网络安全防护体系构成威胁与挑战。 一是 人工智能技术可 提升 网络 攻击 效率 。 人工智能技术可大幅提高恶意软件编写分发的自动化程度 。 过去恶意软件的创建在很大程度上由网络 犯罪分子 人工完成， 通过 手动编写脚本以组成计算机病毒和木马，并利用 rootkit、密码抓取器和其他工具帮助分发和执行 。 但人工智能技术可使这些流程自动化，通过插入一部分对抗性样本，绕过安全产品的检测，甚至根据安全产品的检测逻辑，实现恶意软件自动化地在每次迭代中自发更改代码和签名形式，在自动修改代码逃避反病毒产品检测的同时，保证其 功能不受影响。 2017 年 3月，首个用机器学习创建恶意软件的案例出现在为基于 GAN 的黑盒测试产生敌对恶意软件样本的论文报告中，基于生成性对抗网络GAN的算法来产生对抗恶意软件样本，这些样本能绕过基于机器学习的检测系统。 2017 年 8 月安全公司 EndGame 发布了可修改恶意软人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 8 件绕过检测的人工智能程序，通过该程序进行轻微修改的恶意软件样本即可以 16的概率绕过安全系统的防御检测。 二是人工 智能技术可加剧 网络 攻击破坏 程度 。 人工智能技术可生成可扩展攻击的智能僵尸网络 。 Fortinet 在其发布的 2018 年全球威胁态势预测中表示，人工智能技术未来将被大量应用在蜂巢网络（ Hivenet）和机器人集群Swarmbots中，利用自我学习能力以前所未有的规模 自主 攻击脆弱系统。与传统僵尸网络不同的是，利用人工智能技术构建的网络和集群内部能相互通信和交流，并根据共享的本地情报采取行动。被感染设备也将变得更加智能，无需等待僵尸网络控制者发出指令就能自主执行命令，同时 自动 攻击多个 目标 ，并 能 大大阻碍 被攻击目标自身 缓解与响应措施 的执行 。这在本质上标志着智能 IoT 设备可以被 控制 对脆弱系统进行规模化 、智能化的主动 攻击。 （二） 数据安全风险 逆向攻击 可导致 算法模型内部的数据 泄露 。 人工智能算法能够获取并记录训练数据和运行时采集数据的细节 。 逆向攻击是利用 机器学习系统提供的一些 应用 程序编程接口（ API）来获取系统模型的初步信息，进而通过这些初步信息对模型进行逆向分析，从而获取模型内部的 训练 数据 和运行时采集 的 数据 。 例如， Fredrikson 等人在仅能黑盒式访问用于个人药物剂量预测的人工智能算法的情况下，通过某病人的药物剂量就可恢复病人的基因信息 4； Fredrikson 等人 进一步 针对人脸识别系统通过使用梯度下降方法实现了对训练数据集中特定面4 Fredrikson M, Lantz E, Jha S, et al. Privacy in pharmacogenetics an end- to- end case study of personalized warfarin dosing 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 9 部图像的恢复重建 5。 人工 智能技术可 加强 数据挖掘 分析能力， 加大 隐私泄露 风险 。 人工智能系统可基于其采集到无数个看似不相关的数据片段，通过深度挖掘分析，得到更多与用户隐私相关的信息，识别出个人行为特征甚至性格特征 ，甚至 人工 智能系统 可以 通过对数据的再学习和再推理，导致现行的数据匿名化等安全保护措施无效，个人隐私 变得 更易被挖掘和暴露。 Facebook 数据泄露事件的主角剑桥分析公司通过关联分析 的方式获得 了海量的美国公民用户信息，包括肤色、性取向、智力水平、性格特征、宗教信仰、政治观点以及酒精、烟草和毒品的使用情况，借此实施各种政治宣传和非法牟利活动。 （三） 算法安全风险 算法设计或实施有误可产生 与预期不符 甚至 伤害性结果 。 算法的设计 和 实施 有可能无法实现 设计者 的 预设 目标， 导致 决策 偏离 预期 甚至 出现 伤害性结果。 例如 ， 2018 年 3 月， Uber 自动驾驶汽车因机器视觉系统未及时识别出路上突然出现的行人，导致与行人相撞致人死亡。 谷歌、斯坦福大学、伯克利大学和 OpenAI 研究机构的学者根据错误产生的阶段将算法模型设计和实施中的安全问题分为 三类。 第一类 是设计者为算法定义了错误的目标函数。例如，设计者在设计目标函数时没有充分考虑运行环境的常识性限制条件，导致算法在执行任务时对周围环境造成不良影响。 第二类 是设计者定义了计算成本非常高的目标函数，使得算法在训练和使用阶段无法完全按照目标函数执5 Fredrikson M, Jha S, Ristenpart T. Model inversion attacks that exploit confidence ination and basic countermeasures 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 10 行，只能在运行时执行某种低计算成本的替代目标函数，从而无法达到预期的效果或对周围环境造成不良影响。 第三类 是选用的算法模型表达能力有限，不能完全表达实际情 况，导致算法在实际使用时面对不同于训练阶段的全新情况可能产生错误的结果。 算法潜藏偏见和歧视，导致 决策结果 可能存在不公。 人工智能算法已应用于个性化推荐、精准广告领域，以及需要进行风险识别和信用评估的信贷、保险、理财等金融领域和犯罪风险评估的司法审判领域，可能产生具有歧视和偏见的决策结果。例如，使用 Northpointe公司开发的犯罪风险评估算法 COMPAS 时 ， 黑人被错误地评估为具有高犯罪风险的 概率 两倍于白人 6。 算法歧视主要是由两方面原因造成。一是 算法在本质上是 “ 以数学方式或者计算机代码表达的意见 ” ， 算法的设计目的 、 模型选择 、数据使用等是设计者 和开发者 的主观选择，设计者 和开发者 将 自身持有 的偏见嵌入算法系统。 二是 数据是社会现实的反应，训练数据本身 带有 歧视性，用这样的数据训练 得出的算法模型天然潜藏 歧视 和偏见。 算法黑箱导致人工智能决策 不可解释， 引发监督审查困境。 当社会运转和人们生活越来越多的受到智能决策支配时，对决策算法进行监督与审查至关重要。但是“算法黑箱”或算法不透明性引发监督审查困境。算法黑箱或算法不透明性主要由三方面原因造成 一是 拥有决策算法的公司或个人 可以对 决策 算法主张商业秘密或者私人财产 ，拒绝对 外公开 。 二是 即使对外公布决策算法源代码，普通公众由于技6 数据 来源 ProPublica 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 11 术能力不足，也无法理解决策算法的内在逻辑。 三是 由于决策算法 本身 具有高度 复杂 性，即使是开发它的程序员也无法解释决策算法做出某个决定的依据和原因。因此 ，对 决策 算法 进行有效监督与审查是非常困难的。 含有噪声或偏差的训练数据可影响算法模型准确性 。 目前，人工智能尚处于 依托 海量数据驱动 知识学习的 阶段 ， 训练数据的 数量和 质量是决定 人工智能算法 模型性能的关键因素 之一 。 在含有较多噪声数据和小样本数据集上训练得到的人工智能算法泛化能力较弱，在面对不同于训练数据集的新 场景 时，算法准确性和鲁棒性会 大幅 下降。例如，主流人脸识别系统大多用白种人和黄种人面部图像作为训练数据，在识别黑种人时准确率会有很大下降。 MIT 研究员与微软科学家 对微软、 IBM 和旷世科技三家的 人脸识别 系统 进行测试 ，发现其针对白人男性的错误率 低于 1，而 针对黑人女性的错误率则高达 21-357。 对抗样本攻击可诱使算法识别 出现 误判 漏判 ，产生错误结果。 目前 ， 人工智能算法 学习得到的只是数据的统计特征或数据间的关联关系，而并 未 真正 获取 反映数据本质的特征或数据间的因果关系。对抗攻击就是 攻击者利用 人工智能算法 模型的 上述 缺陷 ，在预测 /推理阶段，针对运行时输入数据 精心制作对抗样本 以达到 逃避检测 、 获得非法访问权限 等目的的一种攻击方式 。常见的 对抗样本 攻击包括 两类，逃避攻击 和 模仿攻击 。 逃避攻击 通过产生一些可以成功地逃避安全系统 检测的对抗样本，实现对系统的恶意攻击，给系统的安全性带来严7Joy Buolamwini, Timnit Gebru, Gender Shades Intersectional Accuracy Disparities inCommercial Gender Classification 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 12 重威胁，例如， Biggio 研究团队利用梯度法来产生最优化的逃避对抗样本，成功实现对垃圾邮件检测系统和 PDF 文件中的恶意 程序检测系统的攻击 8。 模仿攻击 通过产生特定的对抗样本，使机器学习错误地将人类看起来差距很大的样本错分类为攻击者想要模仿的样本，从而达到 获取受 模仿者 权限 的目的 ， 目前主要出现在基于机器学习的图像识别系统和语音识别系 统中，例如， Nguyen 等人利用改进的遗传算法产生多个类别图片进化后的最优对抗样本，对 谷歌 的 AlexNet 和基于 Caffe 架构的 LeNet5 网络进行模仿攻击，从而欺骗 DNN 实现误分类 9。 （四） 信息安全风险 智能 推荐算法 可 加速不良 信息的传播 。 个性化 智能 推荐融合了人工智能相关算法， 依托 用户 浏览 记录 、交易 信息等 数据 ， 对用户兴趣爱好 、行为习惯进行分析 与 预测， 根据用户 偏好推荐 信息 内容 。 当前 ，个性化 智能 推荐已经成为解决 互联网 信息 内容 过载的一种必要手段。智能推荐 一旦被 不法 分子 利用，将使 虚假信息 、涉 黄 涉恐 、违规 言论等 不良信息内容 的 传播更加具有针对性和隐蔽性， 在 扩大 负面 影响的同时 减少 被举报的可能 。 McAfee 公司表示，犯罪分子将越来越多地利用机器学习来分析大量隐私记录，以识别潜在的易攻击目标人群，通过智能推荐算法 投放定制 化 钓鱼 邮件， 提升社会工程攻击的精准性。 人工智能 技术 可制作虚假信息内容 ， 用以实施 诈骗 等 不法活动 。在拥有足够训练数据的情况下 ，人工智能技术 可 制作媲美原声的人造8 Biggio B, Corona I, Maiorca D, et al. Evasion attacks against machine learning at test time 9 Nguyen A M, Yosinski J, Clune J. Deep neural networks are easily fooled high confidence predictions for unrecognizable images 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 13 录音 ， 还可以 基于文本描述 合 成能够以假乱真 的 图像 ， 或 基于二维图片合成三维模型 ，甚至 根据声音片段 修改视频内人物表情和嘴部动作，生成口型一致的音视频合成内容 。 目前， 运用人工智能技术 合成 的 图像、 音 视频等 已经 达到以假乱真的程度 ，可被 不法分子用来实施诈骗活动 。 2017 年，我国浙江、湖北等地发生多起犯罪分子利用语音合成技术假扮受害人亲属实施诈骗的案件，造成恶劣社会影响。 2018年 2 月英国 剑桥大学 等发布 的 人工智能的恶意使用预测、预防和缓解研究报告预测，未来通过合成语音和视频及多轮次对话的诈骗技术成为可能 ， 基于人工智能的精准诈骗将使人们防不胜防 。 2018年 5 月 8 日 ， 谷歌在 I/O 开发者大会上 展示的聊天机器人 ，在与人进行 电话互动 时对话 自然流畅 、 富有条理，已经完全骗过了人类 。 （五） 社会安全风险 人工 智能 产业化 推进 将使 部分 现有 就业岗位 减少 甚至 消失，导致结构 性失业 。 人工 智能 作为公认的 第四次工业革命 核心驱动力 10， 在其与 传统行业相融合的过程中， 不再局限于 替代人 类 的手足 和 体力，而且 可以替代人类 的 大脑 ， 使得 重复 体力劳动者 、 简单脑力 从业者甚至咨询分析等 知识型 行业 等 都可能面临下岗威胁。据 Forrester Research 预测统计 ， 人工智能技术将在 2025 年之前取代美国 7％的工作岗位，其中 16％的美国工人将被人工智能系统取代。未来简史作者尤瓦尔·赫拉利预言，二三十年内超过 50工作会被人工智能取代。如果相关 岗位人员 不能 通过新技能的学习 ， 实现岗位转换，将会10 李开复 人工 智能 、 王海峰 中国 人工智能之路 等 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 14 造成大量失业， 从而形成严重 的社会问题。 人工智能特别是高度自治系统的安全风险可危及人身安全。 传统信息系统主要用于个人日常生活和办公辅助等。然而，无人机、自动驾驶汽车、医疗机器人等人工智能产品和系统则在个人生活、工作中可 替代人类进行决策和行为操作控制。因此，人工智能安全风险不仅会产生 传统信息系统可能造成的数据泄露、影响网络连通性和业务连续性等问题，而且会直接威胁人身安全。自动驾驶、无人机等系统 的非正常运行 ， 可能直接危害人类身体健康和生命安全。例如， 2016年 5 月，开启自动驾驶功能的特斯拉汽车 无法识别蓝天背景下的白色货车， 在美国发生车祸致驾驶员死亡； 2017 年年初，我国发生多起无人机干扰致航班紧急迫降事件。 人工 智能 产品 和应用 会 对现有社会伦理道德体系造成冲击。一是智能 系统 的决策算法 会影响 社会公平 正义 。 智能系统由于训练数据或决策算法带有偏见或歧视，其 决策 结果势必将影响人类社会的公平正义。例如， Kronos 公司的人工智能雇佣辅助系统让少数族裔、女性或者有心理疾病史的人更难找到工作。 二是人工 智能 应用 缺乏道德 规范 约束， 资本 逐利本性会导致 公众 权益受到侵害 。 企业 具有天生的 资本 逐利性 ， 在 利用用户 数据 追求 自身 利益 最大化时，往往忽视道德观念 ，从而损害 用户群体 的 权益。例如 携程、滴滴等基于 用户行为数据 分析， 实现对客户的价格歧视 ； Facebook 利用人工智能有针对性地向 用户 投放游戏、瘾品甚至虚假交友网站的广告，从中获取巨大利益。 三是 人工智能 会 让人类产生 严重 依赖 ， 冲击现有 人际 观念 。 例如 ，人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 15 智能伴侣 机器人依托个人数据 分析， 能够 更加了解个体 心理， 贴近用户 需求， 对人类极度体贴和 恭顺， 这就会让人类放弃 正常的 异性 交往 ，严重冲击传统家庭观念 。 四是人工 智能 产品 和 系统 安全事件 导致的 财产损失 、 人身伤害等面临无法追责的困境 。 人工智能 系统 在 人机协同中可能产生不可预知的 结果，造成 财产损失 或 人身伤残 。由于人工 智能 产品 和应用 自身 不具备责任承担能力 和 法律主体 资格 ， 在问题 回溯上又存在不可解释环节， 这就给 现有法律 体系和 伦理秩序 带来严峻挑战 。 （六） 国家安全风险 人工智能可 用于 影响 公众 政治意识 形态 ， 间接威胁国家安全。 今年深陷 Facebook 数据 泄露丑闻 的 剑桥分析公司 ，被 多家 媒体 报道 深度 参与了 2016 年 美国大选。 该公司主要采用人工智能技术支撑的广告定向算法、行为分析算法和数据挖掘分析技术支撑的心理分析预测模型辅助进行“竞选战略” ，帮助政客 确定不同 种类的选民在特定问题的立场， 指导 其 在竞选 广告 中的语言 语调等。 美国伊隆大学数据科学家奥尔布赖特指出，通过行为追踪识别技术采集海量数据，识别出潜在的投票人，进行虚假新闻的点对点的推送，可有效影响美国大选结果。 人工 智能 可用于构建 新型军事打击力量， 直接威胁国家安全。 智能 武器的应用会使未来战争 操控远程化 、 打击 精准化、 战域 小型化、过程 智能化 。 目前， 主要国家 都将人工智能作为 影响 未来 世界 格局的重要军事变革， 纷纷 从战略 、组织 架构、应用 等 角度 加大 人工智能在人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 16 军事领域的 投入，或 导致新一轮的军备竞赛。 例如 ，美国国防部明确把人工智能作为第三次 “ 抵消战略 ” 的重要技术支柱。俄 罗斯军队 于2017 年开始大量列装机器人， 计划 到 2025 年，无人系统在俄军装备结构中的比例将达到 3011。 另外 ， 随着人工智能的快速发展，智能产品价格将会下跌，获取 更加容易， 恐怖分子将越来越多地使用人工智能武器。例如 ， 2018 年 8 月 4 日 ， 委内瑞拉 总统在公开活动中受到无人机炸弹袭击，这是全球首例利用人工智能产品进行的恐怖活动 。 以上 针对人工智能发展 现状，梳理并 分析了人工智能安全风险 ，整体而言， 从 风险成因看 ， 人工智能 带来 的 安全风险是由于其自身技术不成熟性以及技术 恶意应用 导致 ； 从 发展阶段看， 人工 智能安全 风险尽管 存在于 网络空间 和国家社会的多个领域 ，但 部分 安全 问题 尚 处于 前瞻 性与 苗头性 阶段 ， 未真正渗入 产业 生态 环节。 当前， 人工智能技术发展呈现加速趋势，由于 其自身的学科交叉性和垂直应用性，未来必将与传统行业进行深度融合。 随着人工智能技术 的 创新突破 和 应用 场景的日益 增多 ，其安全风险 也 会 动态 演进， 将 越发具有泛在化、场景化 、融合化等特点 ， 对 人类 生产生活 、国家政治经济 等方方面 面产生 深远 安全影响。 三、 人工智能 安全 应用 情况 目前，人工智能技术由于能够感知、预测、预警关键信息基础设施和经济社会安全运行的重大态势，及时把握群体认知及心理变化，主动决策反应，对保障网络空间安全、有效维护社会稳定具有不可替11 俄罗斯 2025 年先进军用机器人技术装备研发专项综合计划 人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 17 代的作用。因此，人工智能在安全领域的应用是当前国内外企业技术和应用创新的重点。 结合人工智能安全应用的实践情况看，基于人工智能的网络信息安全应用创新活跃， 同时 ， 人工智能与传统社会公共安全的融合应用，也 促进 了 安防 监控 、金融 风 控、舆情监测等 向智能化 发展 。 （一） 网络信息安全应用 1、网络 安全防护应用 基于人工智能的网络安全 防护 应用已成为国内外网络安全产业发展的重点方向。 随着网络安全向动态防御和主动防御演进，人工智能以其对网络安全威胁的快速识别、反应和 自主 学习的巨大潜力，成为推进网络安全技术创新的重要引擎 。 在一定 程度上， 人工 智能技术应用 提升 了网络防护的自动 化 与智能化水平， 减轻 了 网络 情报分析人员工作量， 弥补 了网 络 安全人才不足的 现状 。 从应用范围看，人工智能在网络安全的应用场景日益广泛。 当前，人工智能已从初期的恶意软件监测广泛应用到入侵检测、态势分析、云防御、反欺诈、物联网安全、移动终端安全、 安全运维 等诸多领域。例如 ， 在 入侵检测 方面 ，以色列 Hexadite 公司利用人工智能来自动分析威胁，迅速识别和解决网络攻击，帮助企业内部安全团队管理和优先处理潜在威胁； 我国山石网科公司研发智能防火墙，可基于行为分析技术，帮助客户发现未知网络威胁，能够在攻击的全过程提供防护和检测 ； 在终端 安全方面 ， 美国 CrowdStrike 公司基于大数据分析的终端主动防御平台，可以识别 移动终端的 未知恶意软件，监控企业的数据，侦测零日威胁，人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 18 然后形成一套快速响应措施，提高黑客攻击的风险和代价； 在 安全运维方面， 美国的 Jask 公司采用人工智能 算法 对日志和事件等数据进行优先级排序并逐一分析，以协助安全分析师发现网络中有攻击性的威胁，提高安全运营中心的运营效率 。 从应用深度看，人工智能在网络安全的应用程度仍 处于前期积累阶段 。 除 可 提升 部分 网络 安全防护产品 性能 外 ， 基于人工智能技术的网络安全防护体系的创新仍在研究实践阶段。目前看，国外安 全企业起步较早，如 英国 DarkTrace 公司基于剑桥大学的机器学习和人工智能算法仿生人类免疫系统，致力于实现网络自动自主防御潜在威胁，能够帮助企业快速识别并应对人为制造的网络攻击，同时还能预防基于机器学习的网络攻击 。相比之下，国内 基于人工智能技术的 网络安全防护 整体 解决方案 尚处于 研究阶段 ，对于利用人工智能技术实现整体网络安全防护体系和架构的创新优化仍需探索。 2、 信息 内容 安全审查应用 基于人工智能的信息 内容 安全审查应用已进入规模化应用的初级阶段。 近年 来， 在 基于 人工智能技术 进行 文本、图像和视频识别 的应用日益成熟，以及 全球 信息内容安全管理日趋加强的双轮驱动下，面向违法信息 的 信息 内容安全审查成为了人工智能在安全领域落地应用的前沿领域。 美国互联网 巨头 Facebook 不仅利用人工智能技术对互联网内容进行标记，而且利用机器学习开发了一款对用户的视频直播内容进行实时监控识别的工具 ， 自动对直播 中 涉黄、涉暴或者自杀类别的视频内容进行标记。 但从效果看，违法 内容 判定原则仍较为人工智能 安全白皮书 （ 2018 年） 中国 信息通信研究院 19 简单，误判情况较多。如对色情内容的识别，主要 通过裸露的皮肤来进行判断