手机人工智能技术与应用白皮书(2019).pdf

手机人 工智能 技术与 应用白 皮书 （2019 年） 中国信息通信研究院 中国人工智能产业发展联盟 2019 年6 月 版权声明 本白皮书版权属于中国信息通信研究院和中国人工智 能产业发展联盟 ， 并受法律保护 。 转载、 摘编或 利用其它方 式使用本白皮书 文字或者观点的 ， 应注明 “来源 中国信息 通信研究院和中国人工智能产业发展联盟” 。违反上述声明 者，编者将追究 其相关法律责任 。 前 言 随 着手机从 功能 机向智能 机的演 变 逐渐完成 ， 移动 互 联网与智 能 手机的创 新动力 减 弱，产 业进 入 了有限 创 新 、有 限 增长的 成 熟 阶段 ， 已成型的 巨大产 能 迫切寻觅 新的增 长 点； 人工 智能是 一种 引发诸多 领 域产生颠 覆性变 革 的前沿技 术， 在 视 觉、 语音 、 自然 语 言等应用 领域 迅速发展 ， 并逐 渐 向终端延伸 。2018 年起， 各 主流终 端 厂商的旗 舰机 型均引入 人工智 能 元素， 通过 触屏、 摄像头、 语 音等多 种方式， 更 直 接地满足 用户需 求 ， 改变其生 活方式。 人工智能 对移动 智 能终端行 业 的赋能， 或 成为引 发手机产 业下一 轮 技术和创 新变革 的 源动力。 国内 外巨头也 纷纷看 好 其融合创 新空间 广 阔， 已争相 发力， 加 快产业布 局。 中 国信通院 以2019版白皮书为载 体， 系统 探讨AI在手机 上的技术 融合与实 际应用 情 况， 对产 业链的 影 响， 面临 的问题 挑 战， 相应 解决 方案以及 对未来 发 展趋势的 展望， 向 产业界分 享已知， 共同推动 我国 人工智能 和手机 融 合技术产 业迈向 新 高度。 目 录 一、 智能手机产业发展基本态势. 1 （一） 智能手机市场趋于饱和 . 1 （二） AI 技术趋于实用化，从云侧向端侧延伸 . 4 （三） AI 与手机融合创新空间广阔，手机企业加快布局 . 5 （四） 明确AI 手机定义，将促进产业生态良性发展 6 二、 AI 在智能手机中的应用趋势 7 （一） 端侧异构芯片加速升级，支撑AI 专用计算力需求 7 （二） 智能化传感器件逐步成熟，推动感知交互技术创新 10 （三） 端侧AI 框架和算法迭代创新，提供应用加速能力 . 11 （四） 5G 网络技术逐步走向商用，极大拓展AI 应用场景. 15 （五） AI 丰富智能手机应用场景，极大繁荣应用生态 17 三、 AI 对全球智能手机产业链的影响 . 18 （一） 手机芯片产业 19 （二） 关键元器件产业 20 （三） 手机软件产业 22 四、 我国智能手机AI 技术与应用发展情况. 24 （一） 我国终端产业对AI 技术的应用已较为成熟 . 24 （二） 手机厂商加快AI 技术布局 . 25 （三） 算法企业深化手机场景能力 26 五、 面临的问题与挑战 26 （一） 底层技术创新和生态建设布局有所不足 27 （二） 手机智能化能力标准与规范尚需完善 27 （三） 手机与AI 的结合带来安全与监管新挑战 . 28 六、 未来发展与展望 30 （一） AI 芯片开始从高端向中低端普及 30 （二） 算力、通信等基础能力提升，打造AI 终端生态体系 . 30 （三） AI 终端多领域融合，向垂直行业渗透 31 （四） 软件框架降低使用者技术门槛，扩展AI 终端创新群体 . 31 手机人工智能技术与应用白皮书（2019） 一、 智 能手机 产业发展 基本态 势 （一） 智能手机市场趋 于饱和 从市场规 模来看， 智能手机 市场进 入 滞涨期。 据IDC 统计数据显 示，全球 智能手 机 出货量 在 2015 年达 到峰值， 之后出 现 放缓趋势 。 2017 年全球 智能手 机出货量 同比下滑0.1 ，2018 年前三季 度出货量 达到10.3 亿部，较 2017 年下滑2.9。 从国内市 场来看 ， 由于4G 市 场 趋于饱 和，5G 、AI 等 新技 术尚 未成熟 ，新的 市场 需求刺 激不足 导 致换机周 期拉长， 我国智能 手机出 货 量连续六 个月负 增 长， 市场呈 现 加速下滑 态势。 数 据来 源IDC 统计 数据 图 1 2012-2018 年全球智能手机市场出货量统计 据中国信 通院数据统 计 ， 2019 年第一 季度国内 智能手 机 出货量 总和达到7693 万台， 较2018 年同比大 幅下滑11.9， 下滑 趋势较全 球市场更 为明显 。Digitimes Research 的数据显 示，2019 年第一季 度中国手 机制造 商 的智能手 机出货 量 季度环比 下降30.5， 同比下 降 5.8，至 1.4 亿 台 。而 Canalys 的一 项研究估 计， 中 国 智能手机 市场 40000 42000 44000 46000 48000 50000 52000 54000 2012Q1 2012Q2 2012Q3 2012Q4 2013Q1 2013Q2 2013Q3 2013Q4 2014Q1 2014Q2 2014Q3 2014Q4 2015Q1 2015Q2 2015Q3 2015Q4 2016Q1 2016Q2 2016Q3 2016Q4 2017Q1 2017Q2 2017Q3 2017Q4 2018Q1 2018Q2 2018Q3 2018Q4 1 手机人工智能技术与应用白皮书（2019） 第一季度 同比萎缩3 。 数据来 源 中国 信息 通信 研究院 统计 数据 图 2 2017-2019 年国内智能手机出货量统计 从技术架 构来看， 智能手机 硬件技 术 处于微创 新阶段 。 据企鹅智 库发布的 调研报 告 ，自 2017 年起，用 户的换机 频率明 显 下降从 未 用过 iPhone 的安 卓用户中 ，至少 一 年一换的 用户比从 34.7下降到 了23.5；iPhone 用户每年 换机占 比 则下降至16。 造成 这一现象 的 主要原因 在于 4G 浪 潮褪去， 智能手 机 创新势头 放缓，性能 提 升 主要 围绕硬件 规格的 升 级。 纵观2017 年至2018 年， 智能 手机 创新依旧 主 要围绕双4G、 全面 屏、FaceID、 无线 充电等既 有技术 ， 双4G 技术仅 针对有双 卡需求 的 部分用户； 无线充 电技术还 在发展 过 程中， 存在 充 电速度较 慢、 发 热 严重、 标 准不统 一 等问题； 全面屏 技 术经过多 年发 展， 屏 占比已 超过90关口 ， 继续 提升 的空间十 分有限 ； 而人脸识 别 技术用户 体验褒 贬 不一， 甚 至受到 部 分用户的 抵制。 不 难看出， 近两 年智能手 机在总 体 技术发展 上依旧 延 续现有构 架， 缺 乏颠 覆性创新 技 术或设计， 创新点 主要用于 提升用 户 感受以及 使用方 便 度， 难以对 消 0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 1 月 2 月 3 月 4 月 5 月 6 月 7 月 8 月 9 月 10 月 11 月 12 月 2017 年 2018 年 2019 年 2 手机人工智能技术与应用白皮书（2019） 费者换机 形成真 正 的强驱动 力。 从操作系 统来看， 寡头垄断 市场格 局 已经确定。 全球智 能手机操 作系统市 场垄断 态 势明显， 其中安 卓 占据 86的市场份 额，iOS 占据 14，其余操 作系统 的市场份 额基本 为 零。纵观 2011 到 2018 年，随 着手机产 业从功 能 机到智能 机的时 代 转型， Android 凭借其开源优 势， iOS 凭借极致的 用户 体验， 逐 步打造 了 开放和封 闭两种 截 然不同的 生 态模式， 瓜 分了手 机操作系 统的市 场 。 随着智能 机市场 进入成熟 稳定 发展期， 操作系 统 双寡头局 面形成 并 稳固。 数据来 源IDC 统计 数据 图 2 2011 至 2018 年几种主流操作系统占比变化 从应用程 序来看， 数量持续 增长， 应 用场景、 应 用模式 固化。 随 着智能手 机的逐 渐 普及， 其智 能化的 核心载体 移动应 用 软件 （下文 简 称app） 呈现井 喷式 的增长， 对人们 的 社会生活 方式和 经 济生产方 式 产生了深刻的影响，成为推动整个社会变革的重要抓手。例如 Whatsapp、微 信 等 即时通信类app， 基 本代替了 手机原 本 的运营商 短 信甚至语音业务，成为智能手机必备的基本功能之一。然而，据 0 10 20 30 40 50 60 70 80 2011 2012 2013 2014 2015 2016 2017 2018 Android IOS 塞班 黑莓 windows 3 手机人工智能技术与应用白皮书（2019） Gartner 数据的 不完 全统计显 示， 即 时 通信、 搜 索引擎 和 网络视频 几 类应用分 别占据了90 、80和70以上 的使用率， 表明移 动应用改 变 人们生活 习惯的 爆 炸式突破 后， 其新 增数量虽 然持续 上 涨， 但应用 种 类和每种 类别的 头 部应用却 相对持 平， 用户对移 动应用 的 使用情况 基 本稳定在 几种特 定 的应用上 ， 应用 的使 用模式和 使用场 景 也相对固 化， 缺少突破 。 数据来 源IDC 统计 数据 图 3 移动互联网用户 app 使用情况 （二） AI 技术趋于实用化，从云侧向端 侧延伸 人工智能 与行业 领 域深度融 合。当前 AI 应用百花齐 放， 产业化 发 展由人 工智 能本身 转为人 工智 能驱动 ，AI 融合赋 能成为 趋势。当 前 AI 主要与安 防、 金融、交通 、 教育、 医疗等领 域 相 融合 ， 利用 深 度学习、 语 音识别 、 人脸识别 、 机器 视觉、 逻辑 推理等 人工智能 领域 关键技术 ，支撑 各 行业的快 速发展 ， 为互联网 创新提 速 注入能量 。 人工智能 技术端 云 一体态势 初现。 传 统而言， 很 多对神 经网络的 0.65 0.7 0.75 0.8 0.85 0.9 0.95 2018Q4 2018Q2 2017Q4 2017Q2 即时通信 搜索引擎 网络新闻 网络视频 网络音乐 网上支付 网络购物 4 手机人工智能技术与应用白皮书（2019） 训练和推 理都是 在 云端或者 基于服 务 器完成。 随着移 动处 理器性能 不 断提升， 连 接技术 不断演进 所带来 的 完整可靠 性， 很多 人工智能 推理 工作， 如模 式匹配 、 建模检测 、 分类 、 识别、 检 测等逐 渐从云端 转移 到了手机 侧，其 主 要原因可 归结为 以 下三点。 一是用户 使用场 景 所需。 2018 年是人工 智能大众 化应用 的 开始， 而移动手 机作为 当 前互联网 服务的 主 要入口， 对人工 智能 功能需求 也 越来越迫 切， 虚拟 助手、 图片 处理、 图像识别、 人脸解 锁等应用 成为 主流。 二是 提升用 户体验所 需。 手机 侧人工智 能的关 键 优势包括 即时 响应、 可 靠性提 升 ， 此外， 还能确 保 在没有网 络连接 的 情况下用 户的 人工智能 体验能 得 到保障。 三 是数据 隐私保护 所需。 个 人数据隐 私问 题将成为 人工智 能 领域除了 技术、 应 用之外的 一大热 点 。 尽管在这 场迁徙 中 还面临着 异构解 决 方案的融 合、 硬 件开 发成本 、 手机算力 瓶颈等 问 题， 但人工 智能从 云到端的 演变已 经 在路上， 未来 人工智能 算力将 是 端侧、边 缘侧和 云 端的协同 发展。 （三） AI 与手机融合创新空间广阔，手 机企业加快布局 AI 应 用范围 不断 扩大 ，极 大提升 使用体 验。 一是图 像领域 ， 其 应 用场景 聚焦于 场景 识别、 美颜、 相册 分类、 背景虚 化、 暗光增 强、 人脸识别 和文字 识 别。 二是语 音领域 ， 包括智能 助手、 语音翻译、 语 音搜索等 。 其中 ， 智能助手 是目前 使 用最为广 泛的功 能 ， 其语音 识别 能力 更让 人机交 互体 验达到 了前所 未有 的便捷 。三是 系统 软件领域 ， 终端从系 统层面 进 行自适应 优化， 应用 场景为内 部资源 智 能感知分 配 和 用户/ 应 用行为 预测 ，用于 提升系 统流 畅度、 降低资 源消 耗（如 节 5 手机人工智能技术与应用白皮书（2019） 电 ） 、解决 安卓 手机卡顿 等。 四是 虚拟/ 增 强现实 （VR/AR ） 类 领域 ， 虚拟现实 的沉浸 式 体验给用 户带来 了 全新的使 用感受 ， 而 增强现实 本 身就是一 种对周 围 环境的智 能化感 知 ，AI5GAR/VR 模式 将突破传 统 应用壁垒 ，成为AI 在终端应 用的一 大 亮点。 领先智能 手机企 业 向 AI 战略转型 。一是 软硬件 齐推进 华为在 2018 全联接 大会上 首发AI 战略， 从轮 值董事长 徐直军 的 话语不难 发 现，华为 已经 ALL in AI；vivo 于2018 年7 月宣布成立AI 全球研究 院， 希望打 造人工 智能软硬 件平台， 推动手机 平台完 成 从 “智能” 到 “智慧 ” 转型。二 是 手机 智能 硬件的 产品生态 链转型 模 式2018 年 9 月上海世界人 工智 能大会上 ， 小米 集 团董事长 兼首席 执 行官雷军 表 示 ，要把 人工智 能作 为小米 最重要 的战 略。三 是科研 专利 转型路 线 OPPO 早在2016 年就 已经开始 投入研 发 ， 建立了 先进的 训 练集群和 数 据中心， 并 积累了 超过300 项人工 智 能专利。 从 这些领 先的手机 企业 争相向 AI 转型 的动 作不难看 出，人 工 智能将是 手机产 业 的下一个 风 口浪尖。 （四） 明确 AI 手机定义 ， 将促进产业生 态良性发展 目前智能 手机市 场 ， 颠覆性创 新短期 内难以形 成突破， 同质化竞 争是一个 大的态 势 。 产业链厂 家着力 寻求新的 增长点， 随着人工 智能 成为热点 ，智能 手 机厂家纷 纷推出 “AI 手机” 。但何 谓“AI 手机” ， 国内外产 业界尚 未 形成统一 的共识， 也缺乏统 一的评 测 规范。 定义 和 边 界的模 糊造 成了消 费者的 困惑 ，很多 宣称的 “AI 手机” 并不能 达 到 和满足 用户 的心理 期待和 使用 需求。 因此， 对“AI 手机 ”进行 规 6 手机人工智能技术与应用白皮书（2019） 范和界定， 对引导 和规范市 场行为、 促进产业 生态良 性 发展是十 分重 要且必要 的。 本白皮书 编写组 认为 ，AI 手机是具有 系统结构AI 化， 业 务应用 AI 化的智能手 机。 其具体特 征可描 述 为从系 统架构 上 来看，AI 手 机应同时 满足在 硬 件层 具备 AI 加速单 元，软件 层支持 专 用机器学 习 框架， 交互 层支持 摄像头、 传 感器、 触屏、 语音 等多种 感知方式； 且 从 业务功 能和 应用场 景来看 ，AI 手机应 搭载基 于计 算机视 觉、自 然 语言处理 等技术 的 应用， 能通 过收集 和分析各 类交互 信 息、 感知用 户 使用习惯 来优化 系 统资源配 置、 经云 侧或端侧 进行学 习 处理， 提 升使 用效率、 降 低系统 功耗， 同时 能够结 合场景的 数据分 析 和用户行为 感 知，为使 用者提 供 更“智慧 化”和 个 性化的服 务。 二、 AI 在 智 能手 机中的 应用趋 势 （一） 端侧异构芯片加 速升级， 支撑 AI 专用计算力需求 AI 芯片也被 称 为AI 处理器 ， 即专 门用于处 理人工 智 能应用中 涉 及的各类 算法的 加 速计算模 块 （其 他非 加速计算 任务仍由CPU 负责） 。 AI 芯片算力 的高速 发展， 是 工业场 景 和自动驾 驶等高 实 时性AI 应用 的有力保 障。 同 时 ， 芯片在 算力和 功 耗之间的 兼顾和 优 化， 将是 端侧 手机AI 芯片未来发 展的重要 主题。 通用芯片 奠定AI 算力基础。 提供AI 算力的通用 型芯片 主 要包含 CPU、 GPU 和FPGA 三种， 这 三种芯 片在传 统上分别 擅长复 杂 串行计算 、 图像处理 和可重构电 路 。在 AI 计算领 域，依据 不同芯 片 结构，这 几 种芯片各 有其优 缺 点。就目 前来说 ， 特别在 AI 训练领 域 ，以 GPU 为 7 手机人工智能技术与应用白皮书（2019） 代表的传 统通用 芯 片仍是业界AI 算力 的中流砥 柱。 图 4 CPU 组成架构示意图 下表对比了 CPU、GPU 和 FPGA 这三种 主要通用 AI 芯片的 性能特 点、 适 用场景 和能 耗。 通 过下表 可以 看出 ，GPU 是在智能 手机终端 上 最适合进 行 AI 计算 的通用芯 片类型 。 事实上， 目前主 流 高端手机 处 理器的内 嵌 GPU 性能都十分 强大， 执 行少量 AI 计算无 论 是在性能 上 还是在能 效上都 是 可以接受 的。 表 1 通用 AI 芯片间的横向 对比 芯片类 型 性能特 点 CPU  优点可处理复杂串行计算和大量逻辑操作  缺点 AI 计算性能一般 GPU  优点 擅长并行线性运算， 提供数千个计算核 和大量高 速内存,单元控制逻辑更简单  缺点 执行复杂串行计算效率低， 成本 （功耗） 也较高 FPGA  优点 可在电路级重复编程, 和 CPU/GPU 相比, 计算 效率高, 门电路直接操作,无指令  缺点 受设计资源和内存接口限制，峰值性能远低于 GPU 8 手机人工智能技术与应用白皮书（2019） 专用芯片 提升端侧AI 性能。 一般来说，AI 专用芯片 指的是ASIC （Application Specific Integrated Circuit） ，即专用集成电路， 相对 GPU 能提供更 好的能耗 效率并 实 现更低的 延时。ASIC 需要大量 研发投入， 且芯片 功能流片 生产后 无 法更改， 量产 数 目小 或市场 方向 改变，前 期投入 都 将无法回 收，具 有 较大市场 风险； 但 ASIC 作为专 用 芯片 性能高 于 FPGA ， 依 靠特定 优化和 效能 优势， 在成本 和能 效要 求极高的 手机终 端 上大行其 道。 随着AI 应用的爆发 ， 越来越 多的AI 应用开始在 端侧设 备 上开发 和部署。 一般终端 设备主要 执行推 断 ， 要求具 备足够 的 推断能力 。 除 了计算性 能要求 之 外， 功耗 和成本 也对 在终端工作 的 AI 芯片起到 重 要 约束作用 。智 能手 机作为 目前应 用较 广泛的 终端计 算设 备，苹 果、 华为等手 机芯片 厂 商纷纷推 出 或 研发适 应 手 机 AI 应用的ASIC 芯 片。 软硬件协 同定义 突 破性的下 一代 AI 芯片 技术。 采用可 重 构计算 技术， 允许 硬件架 构和功能 随软件 变 化而变化， 具备传 统处理器 的灵 活性和 AI 专用 芯片 的高性能 和低功 耗 。通过计 算阵列 重 构、存储 带 宽重构和 数据位 宽 重构三个 层面的 可 重构计算 技术来 实 现 “软件 定义 芯片” ，有效 提高 AI 芯片自身 动态配 置能力， 实现软 硬 件协同设 计， 为 AI 芯片带来 了很 高的灵活 度和适 用 范围。 目前，大 多数手 机 AI 芯片厂商采 用软 硬异构技 术方案 作 为产品 技术架构 。高 通采用 NPE（Neural Processing Engine） 软件框架 和 Hexagon 神经网 络 库为接口 ，调动 处 理器中已 有的 CPU、GPU 和 DSP 处理器模块， 实现面向人工智能任务的异构计算，能够运行通过 9 手机人工智能技术与应用白皮书（2019） Caffe/Caffe2 或者Tensorflow 训练的 一个或多 个神经 网 络模型； 华 为通过 HiAI 异构计 算平台来 加速神 经 网络计算 ，快速 转 化和迁移 已 有模型，借助异构调度和 NPU 加速过得最佳性能， 目前可以支持 Kirin970，Kirin980 等芯片; 联发科 的NeuroPilot 将 CPU，GPU 和 APU （AI 处 理单元） 等异 构运算 功能内 建到 SoC 中 ，为人 工智 能应 用提供 了所需 的性 能和功 效，支持 TensorFlow ，TF Lite ，Caffe ， Caffe2 Amazon MXNet ，Sony NNabla 或其他自定 义的第 三方通用架 构。 （ 二） 智 能化传 感器 件逐步 成熟， 推动 感知交 互技术 创新 以3D 摄像头 为代表 的新型光 学传感 器 件崭露头 角。随着用 户 对 于智能手 机图像 识 别精度和 准确度 等 的需求不 断增加 ，3D 图像传感 器开始逐 步应用 于 智能手机 。3D 图像传感器通过3D 成像 技术， 能 够 识别视野 内空间 每 个点位的 三维坐 标 信息， 从而得 到空间 的 3D 数据， 复原完整 的三维 世 界并实现 智能三 维 定位。目 前智能 手 机主流的 3D 成像技术 有结构 光 、飞行时 间和双 目 测距三种 。 结构光（Structure Light ）方法是将具有特殊 结构的 光束 投射 到物体表 面， 由摄 像头采集 后， 根据 光信号的 变化计 算 物体的位 置和 深度信息 ， 进而 复原 整个三维 空间。 飞行时 间（ TOF， Time Of Flight ） 方法通过 专用传 感 器， 捕捉近 红外光 从发射到 接收的 飞 行时间， 判 断 物体距离 。双目 测 距（Stereo System ）方法是 从两个 视 点观察同 一 景物， 通 过三角 测 量原理计 算图像 像 素间的位 置偏差 （ 视差） 来 获取 景物的三 维信息 。 10 手机人工智能技术与应用白皮书（2019） 借助人脸 识别，3D 传感将成 为手机 零 部件的发 展热点 。 目前市 面上大部 分手机 还 属于2D 识别，即通 过前置摄 像头读 取 脸部图片 ， 再利用软 件进行 对 比， 实现难 度和成 本较低， 但 在光线 较差的场景 下 无法识别 解锁；3D 传感摄像 头除使 用 摄像头外 ，还配 备 结构光发 射 端、结构 光接收 端 或时差测 距/ 距离传 感器，可 一定程 度 进行活 体判 断，防止 被攻击 破 解。目 前， 苹 果、华为、oppo 等发布 的新机型 开 始逐步配备3D 摄 像头 ，3D 传感器将会 进一步普 及， 或 逐 渐成为智 能 手机的标 准配置 。 以指纹和 人脸为 代 表的新型 生物特 征 识别技术 应用逐 渐 成熟。 从 2018 年开始 ，部分 品牌开始 使用人 脸 识别代替 指纹识 别 ，手机指 纹 识别技术 的渗透 率 出现下降。 但由于 凭借成本、 体验和 速度方面 的优 势， 未来一 年指纹 识别将仍 是生物 特 征识别技 术的主 流 。 指纹识别 依 靠指纹识 别传感 器 ， 包括传统 指纹识 别和屏下 指纹两 种 模式。随 着 智 能手机全 面屏的 发 展， 传统指 纹识别 将逐渐被 淘汰； 未 来在生物 特征 识别领域 将是屏 下 指纹技术 与人脸 识 别技术的 较量。 声纹识别 的大规 模 普及还有 赖于语 音 识别技术 和体验 的 提升。 声 纹识别依 靠手机 麦 克风捕捉 可用电 声 学仪器显 示的携 带 言语信息 的 声波频谱 模型， 根 据语音波 形实现 身 份判定。 目 前市面 上已经出 现了 一些支持 声纹解 锁 的手机， 但 由于其 技术尚未 完全成 熟 ， 存在复 杂环 境识别准 确率较 低 ， 或需要佩 戴专用 耳机等影 响用户 体 验的问题， 因 此在手机 中的普 及 度还较低 。 （三） 端侧 AI 框架和算 法迭代创新， 提 供应用加速能力 11 手机人工智能技术与应用白皮书（2019） 1 ．AI 计算 框架 AI 计算 框架 从线上为 主线 下为辅 模式, 逐 渐向 线上线 下云-端协 同转变。 移 动端 AI 应用主要 通过线 上 （Online） 和 线下（Offline） 两种模式 来使用 深 度学习框 架。 线 上模 式采用在 移动端 做 初步预处 理， 把 数据上 传云端 服务 器执行 深度学 习运算 ，其 优点是 部署 过程简 单， 对现有框 架封装 即 可直接使 用， 缺点 是使用时 必须联 网 。 线下模式 则 采用服务 器端训 练 ， 手机端 推断的 过 程， 部署 上有一 定 工作量， 但无 网情况下 也可进 行 本地运算。 随着移 动设备的 广泛普 及 与应用， 在 移 动 设备上 使用 深度学 习技术 的需 求开始 涌现。 线上 与线下 并存 的 AI 计 算框架 模式 逐渐代 替单一 的线 上处理 模式,成为 终端 AI 计算 框架 的主流趋 势。 图 5 云端训练过程与端侧 AI 系统架构 12 手机人工智能技术与应用白皮书（2019） 图 6 端侧 AI 处理的线上与 线下模式比对 终端 AI 计算框 架未 来发展趋 势中的 重 要一环是 解决碎 片 化问题 。 人工智能 是一个 系 统的工程， 无论是 想赋能还 是推动 产 业发展， 生 态 体系的建 设必不 可 少。目 前的 AI 训练 模型需要 经过压 缩 和优化才 能 运 用到手 机上， 而且 每个平 台都有 各自 模型要 求，导致 兼容 性较 差。 正 如安卓 生态 的碎片 化问题 一样 ，AI 算 法框架 的碎 片化问 题降低 了 开发者的 开发效 率 ， 影响了用 户的使 用体验， 阻 碍了产 业的创新 与发 展进程。 因此， 解 决应用开 发平台 和 模型碎片 化将是 端 侧 AI 框架发 展的当务 之急和 努 力方向。 2 ．AI 算法 图像和 语音 是当 前 人工智能 与手机 融 合应用的 两类主 要 领域， 本 白皮书将 从图像 算法 和语音 算法两个层 面 进行 阐述。 图像算法 遵从统 计 （或决策理 论） 法 ， 结构 （或 句法） 方法和神 经网络法 三种的 演 进过程 。统计法 是 较早用于 图像识 别 的一种算 法， 以数学上 的决策 理 论为基础 ， 其基 本模 型是对研 究目标 进 行大量统 计 13 手机人工智能技术与应用白皮书（2019） 分析， 找 出规律 性 认识， 提 出反应 图 像本质特 点的特 征 进行识别。统 计法忽略 了图像 中 被识别对 象的空 间 关系， 所 以当被 识别 物体的结 构 特征为主 要特征 时 ， 会较难识 别。 句法 识别的 出现 是对 统 计识别的 补 充， 用符 号描述 对 象特征。 其模仿 语 言学中句 法的层 次 结构， 采 用分 层描述法， 把复杂 图像分解 为单层 或 多层的简 单子图 像 ， 主要突出 识 别对象的 结构信 息 。 随着人工 智能的 兴 起， 近年 来的图 像算 法多采用 神经网 络 方法实 现， 且将在 近几年 内继续处 于主导 地 位。 神经网 络算法 是由大量 神经 元连接形 成复杂 的 网络系统 。 如果 说传 统的符号 处理算 法 侧重模拟 人 的逻辑思 维， 神 经网 络则侧重 模拟和 实 现人类认 知过程 中 的感知过 程、 形象思维 、 分布 式 记忆和自 学习组 织 ， 与符号 处理为 互 补关系。神 经 网络具有 大规模 并 行、 分布 式存储 和 处理、 自 组织、 自 适应和自 学习 能力， 非常 适用 于处 理需要同 时考虑 多 因素多条 件的不 精 确和模糊 信 息处理问 题。 端到端语 音识别 算 法崭露头 角。 传 统语 音识别算 法多采用 多层感 知机 和 隐马尔 可夫共 用的 混合模 型算法 。2010 年 ，研 究人 员用 深层 神经网络 替换掉 了 浅层神经 网络， 在混 合模型的 基本架 构 上增加了 建 模单元的 数量， 取 得了识别 效果上 的 突破。 近年 来 ， 热 度较高的 端到 端模型采 用整体 神 经网络替 换了原 有 的混合模 型， 不 仅能 改进模型 的 性能， 也能 带来更 好 的开发速 度和简 洁 性。 但该成 果仍处 于 研究阶 段， 产品级应 用大多 依 然延续混 合模型 算 法。 14 手机人工智能技术与应用白皮书（2019） 图 7 传统语音识别系统模块示意图 复杂环境 下可靠 性 的提升是 语音识 别 算法待解 决的首 要 问题。 语 音识别算 法的鲁 棒 性较差， 对 环境依 赖较为严 重。 由于 语音信号 的多 样性和复 杂性， 系 统只能在 一定限 制 条件下才 能获得 满 意效果。 目 前 业内普遍 宣称的97识别准确 率， 更 多 的是人工 测评结 果 ， 只在安 静 室内的近 场识别 中 才能实现， 一旦进 入 嘈杂环境， 识别率 会 下降很多 。 很多语音 识别企 业 已经开始 采用语 音 增强、 麦 克风阵 列以 及说话人 分 离等多项 技术， 进 而提升复 杂 （噪音 ） 环境下的 识别准 确率。 语音 识 别算法还 面临着 灵 活性较差 ， 无法 适应 人类较为 多变的 语 言表达方 式、 韵律信息 、同音 词 和语音特 征等其他问题。 （ 四） 5G 网 络 技术逐 步走 向商用 ，极 大拓展 AI 应用 场景 2018 年6 月14 日， 第一版本 （R15）的5G 核心网标 准已在SA 全会上批 准冻结 。 随着 SA 5G 标准正式 确立， 城 市规模 组 网试验的 展 开， 5G 商用已经进 入倒计时 。 2019 年5G 产业配套将会 逐步 完备， 2020 年开启全 球商用 。 作为第五 代移动 通 信技术，5G 具有大 带宽、 低延 时、 广 连接的 特点和 优势， 其三类 典型应 用场景 （增强 移动带宽eMBB、 15 手机人工智能技术与应用白皮书（2019） 大规模机 器类通信mMTC 、 超高可靠 超低 时延通信URLLC） 可 分别从数 据、 时效和算 力 上 为人工智 能技术 提供 更 好的 支撑基 础 ， 大幅促进 其 各类终端 使用场 景 的落地和 应用。 大规 模机器 类 通信输入 海量数 据 ， 增强设 备智能 化 学习能力 。 对 于人工智 能来说 ， 大量的学 习和训 练 数据是其 发挥机 器 学习的基 础， 数据量愈 广泛， 学 习的程 度就 越 深入， 学习结 果就越接近 真 实 环境 ， 越能够理解 人 类行为 。5G 技术带来的 超大联接 能力，可收 集 来 自通 过智能家 居等各类 物联网终 端传输 的 信息， 创 造出史 无前 例的大数 据 基础， 让 人工智 能 设备迅速 从数据 中 积累和学 习， 理解情 境 ， 从而 精 准无误的 完 成 任务。 超高可靠 超低时 延通信提 升用户 体 验， 丰富垂直 应用 场景。5G 带 来的超低 延时为 通 过手机直 播、 赛事 观看、 在线 互动等 手机端多媒 体 应用场景 提 供 了良好 的通道 。尤 其在用户密度 大的区 域 ，5G 可增强 通信能力 ，实现 无 缝用户体 验。借助5G ，终端人工 智能将 极大化拓 展多媒体 类应用 场 景如高清 视 频直播 加持AI 图片识别 ，不但能 提 供高质量、 高清晰 度的画面， 还可以 让用户根 据自己 需 求观赏不 同角 度和姿态 的画面；AR （增强现实） 、VR （虚拟现实） 等 全 息类虚拟 技 术，也可以 依托5G，与终端 和人工 智 能结合， 拓展更 多 满足用 户需 求的垂直 类应用 场景 。 增强移动 带宽促 进 算力端化 ， 推动 端 侧智能化 进程。 尽 管人工智 能的端侧 承载能 力 已有所增 强， 目前 大 多数计算 和训练 过 程仍位于云 中； 然而 ， 越来 越 多的人工 智能应 用 都需要在 端侧完 成 数据处理 ， 以 16 手机人工智能技术与应用白皮书（2019） 提 升用户 隐私 安全和 提升用 户体 验。5G 超 强的 网络 能力， 给人工 智 能提供了 端侧与 主 机的高品 质连接 管 道， 在推 动网络 边缘 计算能力 提 高的同时 减少了 对 云的依赖 。 边缘 计算 也意味着 一个终端设备能更好 地 了解 自身 的 运 行环 境， 有助 其更 好的 理解 用户 需求 。事 实上 ，5G 的低延迟 、 大 带宽 和 边缘计算 能力最 终 将使设备 能够直 接 通信并协 同 运行，形成 “群计 算”。 5G 就如同一条 “信 息高速公 路” ， 为 庞大数据 量和信 息 量的传递 提供了高速 传 输通道 ； 人工智 能是云 端大脑， 依 靠高速 公路传来 的信 息 学习和 演化 ，完成 整个机 器智 能化进 程。5G 时代 下，人 工智能 可 以为用户 提供更 多 拥有更快 响应、更 丰富内容、 更智能 认知的应 用模 式 。可以 说，5G 补齐 了制约 人工 智能发 展的短 板， 是驱动 人工智 能 发展的新 动力。 人 工智能赋 予机器 人 类的智慧 ， 二者 相 结合， 会 为整 个社会生 产方式 的 改进和生 产力的 发 展带来前 所未有 的 提升。 （ 五） AI 丰富智 能 手机 应用 场景， 极大 繁荣应 用生态 1 ．从 应用角 度 较为成熟 的手 机 AI 应用场景 聚焦于 智 能拍照、 人像美 颜 、图片 管理、语 音助手 、 智能翻译 、语音 搜 索和增强 现实类 应 用等。 智能拍照 是在拍 照 过程中， 通 过检测 图片中的 目标， 识 别当前场 景并自行 调整参 数 ， 避免曝 光、 偏 色 等问题， 还可根 据 用户需要 进行 背景虚化 等调整。 人像美颜 是对人 像 进行美化 的一种 技 术， 包括面部 分 析、全 局处理 、局 部精细 化处理 和美 型等， 从人种 、性 别、年 龄、 肤色、 肤质 等维度 为用户提 供个性 化 美颜。 图片 管理可 对相册中 的图 17 手机人工智能技术与应用白皮书（2019） 片进行自 动分类， 也可对图 片进行 后 期优化， 如 在不产 生噪点的 情况 下， 将在暗 光环境 下拍摄的 曝光不 足 的照片， 修 复成正 常曝光状 态的 照片。 语音助手 具备系 统 设置、 智 能提醒 、 调用第三 方应用 、 控制周边 其他智能 设备、 熄 屏唤醒、 语音搜索 等功能。 智能翻 译 通过选择 语种 转换， 即 可进行 语 音转换。 语音搜 索 首先将语 音转化 成 文字， 再 做文 本匹配和 搜索。 增 强现实类 应用主 要 在智能家 居、 电 商 购物、实 景 导 航和一些 游戏应 用 中异军突 起。 2 ．从 资源管 理角度 从操作系 统层面 看 ， 通过 内部资 源智 能感知功能 ， 安卓 手机的卡 顿问题 （APP 资源竞 争、 后台任务 繁重 、 权限不合理 设置 、 文件 碎片 化等引起） 得到了 有 效缓解。 手机 厂 商或通 过 记录 用户习 惯 进行学习 ， 预测用户 使用APP 的行为， 标记优 先 级， 降 低冷 启 动概率；或 改变 安 卓 原理和 机制， 整理 内存碎 片、消 除碎 片文件 ，通过 后台 内存压 缩、 极速内存 回收保证CPU 的资源调 用。 从芯片层 面看 ， 利用 芯片层 系统管 理 和优化， 可 优化系 统运行速 度 并延长 电池寿 命； 通过在 性能核 心与 能效核 心之间 合理 分配任 务， 智能地管 理芯片 的 性能， 可给 用户带 来直观的 体验提 升 。 华为海思 麒 麟 97