AI向移动端迁移，巨头专用芯片之争将带来AR/MR的崛起？

AI 技术已经逐渐深入到我们的生活，通过大数据的收集、整理，判断出逻辑，结合云与端的计算，让我们日常使用的设备看起来拥有了“智能”——然而，这只是一系列运算工作相辅相成的结果。

那么，已经成为我们身体一部分的智能手机在人工智能领域到底扮演着什么样的角色？它们已经能够独立进行学习，甚至提供类似人工智能等级的服务吗？

从表面上来看，我们日常使用的智能手机在不少功能的使用上已经相当聪明，比如照片美化可以做到全自动，翻译功能也越来越逼近人类的语法习惯，甚至连出现在手机里的广告都很神奇的符合你的消费习惯。

但这是你手机自己“想”出来的结果吗？还不完全是。目前，手机在人工智能里扮演的角色还是偏向于数据收集的功能，甚至连学习都还称不上。但未来随着运算架构与制程的演进，加入手机的传感器类型会不断增加，及像增强现实（AR）、混合现实（MR）等需要本地端计算能力强大到可以与环境互动的应用出现，由手机自己执行的学习、互动以及更智能化的运算功能也会随之普及。

当然，云端的学习与基础模型建立还是少不了，但本地端的进一步学习，以及对个人化模型的不断修正，是未来智能设备能不能”更好用”的关键。为了满足这个目的，手机芯片的计算架构选择与设计也会是重点，目前各大芯片设计公司都已经不约而同往这个方向前进。

目前而言，我们现在所谈到的智能应用，几乎清一色都是套用在云端上整理、计算来的模型，本地端的终端，比如说智能手机，在机器学习上扮演的角色其实并不是很重要，除因计算性能较弱，加上功耗预算有限，手机本身能达到的学习机制相当有限。但随着半导体技术的发展，以及手机应用的智能化以及个人化要求的强化，手机上机器学习能力的强化，也变成未来必走的方向。

一般常见如 Siri、Alexa、Cortana 或 Google Assistant 等语音助理、各平台上的翻译服务，邮件服务中的垃圾信辨识功能，以及针对个人包含使用习惯、安全辨识信息以及地图定位功能等，都不同程度上应用了学习机制，借以改进精确性与回馈速度，这类型的学习机制也被使用在不少社交网络以及购物软件上，来作为判断消费习惯以及广告精准投放的依据。

在拍照、相片处理等主流应用中，机器学习也扮演着重要角色。比如说，拍照之后，马上就能判断出照片中包含什么对象，或者凭借地点以及对象的结合判断并提供该对象的具体信息。

图丨智能手机已经成为机器学习重要的感官与应用载体

另外，美女们最爱的修图美颜软件，也早已经进步到可直接套用机器学习之后的五官、身体特征模版，让修图效果可立即呈现，不必再费时费力手动处理，且合成的效果远优于手动调整，几乎可达天衣无缝的境地。

目前，Google 与麻省理工学院联合开发的照相场景修图软件，可在手机上实时预览拍照场景修图后的效果，让用户在按下拍照按键之前，就已经可以先看到拍出来、甚至是修图后的效果。虽然目前这些效果多半是在色调，或者是高动态光源方面的处理，但这确实可大幅减少事后修改的过程，有效提高拍摄的成功率。

图丨Google 联手麻省理工学院开发全新机器学习算法，可在拍照前就看到最终拍摄效果

除了拍照功能外，手机游戏也是智能手机上极为重要的应用，相关市场规模产值非常庞大，2016 年全球手游产值已经超过 370 亿美元。虽然目前主流手游几乎都强调在线真人对战，但实际上，玩家与计算机对战所占的时间也不低。很多玩家在跟真人对战前，都必须先和计算机对战一番，提升自己操作水平。

但如果计算机对手太“弱智”，一成不变的游戏流程将对玩家体验造成伤害。因此各大游戏厂商已经针对游戏中的敌人反应进行强化设计，通过机器学习，使其更接近真人。计算机对手甚至可学习玩家的操作模式，自动调整强弱，让游戏过程充满新鲜感，老司机玩家也同样能感受到挑战性，借此将有效提升用户黏性。

图丨暴雪公司的经典游戏《星际争霸》是否会成为 DeepMind 的下一个挑战目标？

总归而言，手机目前能做到一定程度的学习，让应用的表现看起来好像很聪明，但现有的学习模型套用还是相当粗糙——没办法针对性的优化体验，这点除因为应用的类型限制外，手机本身的运算性能还有待强化也是原因之一。目前的应用针对的目的相对单纯，但如果未来应用想进展到虚实结合，整合大量信息，并拥有个人化的呈现方式，那相对应的硬件平台也必须够强大才有办法实现。

AR/MR 成败与否，移动端机器学习是决定因素

理想很丰满，但现实总是很骨感，这也是为什么很多人会投入到虚拟的世界当中去追求不同的满足感，虚拟现实（VR）把人和现实抽离，这对人类的心理会有负面影响，因为无法印证到现实的事物，体验完VR应用之后的满足感越高，回到现实世界的空虚感也会更大。但 AR 和 MR 能让使用者与现实世界进行维系，透过计算器，让现实和虚拟可以重迭，现实不足的信息，或感官接触的缺乏，可透过 AR 的各种传感器来强化人类的感知堆栈。

增强现实（AR）、混合现实（MR）是通过镜头、结合实景与虚拟 3D 建模，将各种实时运算产生的信息画面迭加在真实景物中，这些实时运算的对象或信息可以和真实世界进行完全的互动，让使用者用不同的角度去解读、理解这个世界。这种应用不论是在娱乐方面、产业方面，甚至是军事技术领域，都有着极为庞大的应用潜力。

但要在手机上实现这些应用，机器学习就扮演着关键的角色。不论是在游戏应用，或者是其他专业领域，AR 或 MR 都包含语言识别与处理、视觉识别与合成等运算工作。随着各种多功能操控及感官回馈的加入，让相关计算的工作需求也更为吃重。

与目前流行的拍照应用不同，这部分的体验与使用者本身，以及使用者身处的环境有极大的关连，无法仅单纯套用基本模版。因此，让智能设备本身拥有的学习能力去针对个人使用习惯来对模版进行相应调整，才能优化整个使用体验。

图丨电影《钢铁侠》堪称AR应用的经典范例

过去手机硬件性能不足，限制了这方面应用的发展空间以及效果呈现。然而，随着半导体与制程技术的不断升级，还有像 GPGPU（通用图形处理单元）、DSP（数字信号处理器）甚至 FPGA（现场可编程门阵列）等架构的革新，手机上的整体计算能力几乎已经可以和桌面端计算机相提并论，且功耗亦可控制在合理的程度，这都有助于推动相关应用的发展。

也因为平台性能等客观环境已经相对成熟，走在时代前端的苹果公司对 AR 生态方面的经营也转趋积极。苹果公司的自有处理器设计已是移动应用领域中最强大的架构，性能与功耗皆领先同期同类型的产品。

除硬件平台设计外，苹果就生态支持方面，不仅并购眼球追踪技术商 SensoMotoric Instruments，也在今年 6 月的 WWDC 正式发布了增强现实开发工具 ARKit，以及包含加速 iOS 设备机器学习能力的 CoreML 机器学习框架，所以我们有理由有可以相信，在苹果的号召力之下， AR 技术将有机会快速取代 VR，成为未来手机虚拟现实平台的最主要推动力。

图丨ARKit + CoreML = 移动端 AR 应用爆发？

随着苹果加入虚拟现实的战场，非苹果阵营在这方面的发展肯定也不会放松。由于显示技术、处理器芯片设计，各家智能机方案供货商基本上都相差不会太大。因此，要在 AR 市场胜出，关键还是在各手机平台针对个人体验优化的机器学习设计是否到位，以及能否带动足够数量的开发者进入这个市场。

苹果已经在相关的应用上投入了很大的心力，其他阵营如果不能快速赶上，技术差距将可能被进一步拉大。各家主流芯片设计商对人工智能的想法也存在分歧，移动领域相关产品暂时没有太多选择。

ARM 架构独霸移动方案，GPU 技术以高通均衡性最佳

苹果加大迈向未来虚拟平台的步伐，想把非苹果阵营远远甩在后头，而财力不足的非苹果阵营却无法像苹果一样不惜工本的设计自有方案，芯片上的每个晶体管的成本都要锱铢必较。能满足从苹果，到小芯片设计公司的不同需求，且都基于同一架构，又要能提供不同的自定义架构弹性，在移动方案的架构选择方面，到现在也只剩下 ARM 一家了。

ARM 在针对人工智能方案方面提供了两大方向：在 CPU 方面，其最新架构提供了更多元化的核心互连方式，增加芯片的规模弹性以及应用效率；另外一方面，也提供了 GPGPU 运算加速功能，当然，手机上的 GPGPU 运算加速在应用数量或普及率方面仍无法与 PC 平台相提并论，但硬件已经支持了，未来若 Google、苹果或百度、腾讯等公司能够推出标准开发工具包，那么对此类的运算应用将有可能加速普及。

图丨ARM 与软银连手布局 IoT，欲成为机器学习最大数据供货商／用户

当然，ARM 的目标市场其实包含服务器在内的高性能能计算平台，但 ARM 在高性能计算方面的经验和市场布局其实水平一般，但若依靠其在移动应用领域的一家独大的地位与开发经验，将相关计算平台扩展到其他应用领域，并结合更多布局在 IoT 应用的各类型传感技术所产生庞大数据，将对 ARM 在机器学习甚至AI技术和市场布局更有利。

换句话说，机器学习有许多环节，ARM 虽然在高性能计算生态方面不够成熟，不能站上主要的核心大脑地位，但是机器学习是要有数据源的。ARM 与软银结合，分散在各行各业的 IoT 大战略，目标就是要成为主要的资料供应源。毕竟即便计算架构本身如何强大，若没有相关传感设备进行数据收集，也没办法构成有意义的资料。再加上智能手机这个最接近使用者的终端，以及未来基于智能手机之上、包含 AR、MR 等各种与现实交互、能提供大量来自各种模拟人类感官的综合应用，将能渗透各种产业，构成极为强大的生态。

当然，目前所有的移动通讯芯片方案几乎都是基于 ARM 架构，但这些方案其实还是有些不一样，比如说所搭配的 GPU，或者是 DSP 辅助计算核心的选择会不一样，最终呈现出来的效果也会不同。

图丨ARM 与软银的 IoT 大战略

CPU 部分我们略过不谈，毕竟都是标准 ARM 架构，即便是定制化，其实也和原版核心相去不远。最大的差别在于 GPU 和其他订制架构部分，目前在移动应用上的主流 GPU 架构包含 ARM 的 Mali、高通的 Adreno，以及 IMG 的 PowerVR，从单位能耗来看，Mali 最低，但随着技术迭代，有逐渐赶上竞争对手的趋势。

目前，ARM 架构下的所有可选 GPU 方案都支持通用计算，在移动应用中，GPU 的能耗、单位元面积性能表现要比绝对性能更重要，Adreno 与 PowerVR 在同代架构上的效率差距不大。PowerVR 最新的架构 Furion 除了强调能耗，也大幅改良单位元面积性能，单位元芯片面积能输出的计算性能可以说是移动通讯芯片中可选的性能最强的方案。苹果虽说要放弃和 IMG 的合作改用自家研发的方案，但下一两代的芯片不出意外仍会采用 PowerVR。

再来看看高通，其 Adreno 其实占据了天时地利，其技术来源是当初的 ATI，本身就有不错的技术积累，且在知识产权方面的掌握度高，而采用 Mali 架构的方案或者是客户，多多少少都有受到一些专利上的牵制。

目前 PowerVR 与 Mali 都是纯粹的贴图渲染（Tile-Based Render）架构，这是一种延迟着色（DeferRender）技术，但 Adreno 可以针对着色对象的复杂度，自动选择使用基于 Tile-Based Render 的延迟着色或者是像 PC 平台 GPU 所普遍采用的直接着色技术，对实际图形处理性能表现有极大的说明。

图丨智能手机上的可用机器学习硬件设计

不过，目前针对 GPGPU 的通用计算性能还没有一个比较公正的跑分程序，这方面目前还是要回归 GPU 本身的面积性能比。但在未来，芯片商或架构提供商所提供的支持要比纯粹性能重要，比如说高通针对 Adreno 为客户提供 GPU 相关 SDK，包含 VR、AR，甚至 GPGPU 计算等等，借以协助客户开发相关应用。ARM 也针对 Mali 提供了 VR SDK、Vulkan SDK 以及 OpenCL SDK。其中 OpenCL SDK 就是针对 GPGPU 计算模式开发应用套件，这些做法都可能推动相关应用的发展。

PowerVR 方面也同样提供了类似的方案，IMG 目前虽苦于被苹果抛弃的可能性，未来预期收入也可能面临大幅萎缩，但其大幅降低 GPU 架构授权价格的做法，将有望从非苹果阵营夺回一定占有率，从而在一定程度上弥补未来由失去苹果而带来的损失。

移动计算乏力，X86 仍将坚守 PC 及服务器市场

Intel 曾经发力移动应用领域，想要从 ARM 的嘴里抢下市场大饼，但奈何 ARM 的生态太强大，从零组件成本到系统成熟度，再怎么洒钱追赶也没有办法追上，数年之间花了上百亿美元，最终也只能放弃。

Intel 的努力化为泡影，AMD 则是苦苦的挣扎求生，根本没有余力往移动应用发展，因此两大供货商 Intel 与 AMD 在移动通讯的应用领域其实都乏善可陈，Intel 在人工智能领域并没有强调太多计算架构方面的东西，毕竟其主打还是既有的 X86 处理器。即便是针对海量并行计算与加速方面主推的 Xeon Phi 架构，基本上还是 X86 处理器的升级版，而不是全新架构。

图丨Intel首款集成多核架构产品：至强融核（Xeon Phi）协处理器

Intel 目前通过并购或者是拓展应用，期望推广自有 X86 架构在相关运算方面普及率。不过针对移动应用方面，Intel 目前并没有太大的动作，毕竟其前几年在移动应用方面的尝试刚被 ARM 打到铩羽而归，短期间内恐怕很难看到 Intel 这个名字出现在移动方案领域，尤其是在人工智能相关计算方面。

AMD 虽近来大力改革，也推出不少极具竞争力的服务器、PC 产品，但其营收方面目前才稍有起色，要谈到转亏为盈，甚至往其他领域发展，目前还言之过早。

除了 CPU 和 GPU，我们还能用什么？

使用现有标准架构来处理相关计算的好处是市场上有极为丰富的生态资源可以使用，不需从头自己设计轮子，但使用标准架构，会因为架构要求通用性，芯片设计上就要考虑到少数状况，绝对运算性能也无法专用架构相提并论。

但事情没有绝对，架构的选择向来都不是非 A 即 B，我们可以结合不同方向的运算架构在同一芯片或终端上，以彼此搭配的方式，截长补短。当然，主要还是得看针对的应用情境而定。

专用架构的性能表现已经是众所周知，Google 的 TPU（张量处理单元）人工智能专用芯片架构在 AlphaGO 一战成名，该设计是自行开发、基于 TensorFlow 框架的计算架构，而 Google 也已经把相关的资源都开源，让一般开发者可自行调用、开发，未来也将有更多针对移动平台的架构规划推出；微软专门针对 AR 应用开发了 HoloLens HPU，第二代 HPU 也会加入人工智能相关的计算能力。

所以说，如果厂商有足够的预算和人力，以及可见的市场空间，那么自己定规格、造芯片会是不错的方式，除了可以充分了解芯片本身的潜力，也可完全掌握相关的成本结构，不用担心芯片上会有冗余的部分造成额外的设计、制造以及功耗成本。

但若是一般中小规模的终端从业者或方案设计业者，可能就很难采取上述方式，此时就必须要使用标准架构，但这么一来和那些资金充足的厂商之间的差距是不是就无法拉近了？其实也不用担心，目前针对移动应用的计算加速结构其实还有不少的选择，即便不自己设计芯片，市场上也可以找到不少现成方案。

当然，一般常见的 DSP、FPGA 都已经相当成熟，也有不少供货商提供相关方案，不过这些方案在机器学习，或者是 OpenCL 之类的支持方面并不如主流 GPU 那样积极。所以，采用这类的方案必须要有心理准备。

但以绝对性能而言，这类方案其实不会逊色于 GPGPU，甚至在功耗、性能均衡性方面要有过之而不及。回过头来看 GPGPU 计算，其在 PC 及服务器平台上的普及，主要还是 CUDA 与相关生态的推波助澜，而非绝对性能的优势。

但必须注意的是 Google 在其移动平台上大力推广 RenderScript 这个自有通用计算标准，而不采用 OpenCL，有部分原因是因为芯片方案商所销售的专用计算加速架构（比如芯片中整合了 DSP 或者其他多媒体计算加速单元）多半都是封闭的，不为开发商提供标准的开发工具包，导致芯片中可能有部分的区块的利用效率极低，因此造成运算性能的浪费，比如高通过去就是如此。

但不利用既有的成熟开放标准去达到同样目的，而是采用封闭标准，最后会不会变成芯片商也被 Google 绑架？以后相关计算加速单元的设计都要遵照 Google 的标准？这也是令业界深感忧虑的问题。

RenderScript 有其应用上的优势，在 Google 的平台上可以发挥极高的性能，且不同处理器之间的兼容性也很高，不用担心不同方案商采用的加速架构不同，这一点上要优于 OpenCL。但应用开发上明显比标准 OpenCL 要复杂不少，且因为是全新的 API，使用者需要时间去学习适应，这可能会拉长应用开发周期。

此外，OpenCL 的好处就是转换平台方便，即便是针对 Android 平台开发，也不用担心把程序代码转换到 PC 或其他平台上会遇到问题。当然，iOS 就不用想了，苹果有自己的规矩。

在移动计算平台上使用机器学习，乍看之下选择不少，但实际上可用方案比较有限。Google TPU 这类针对性很强的架构，在相对性能上表现肯定是最好的，但相较于 GPGPU 的通用性，可能会有应用弹性较差的缺点。

另外，DSP 和 FPGA 虽也是被业界广泛采用的架构，但移动计算平台上的机器学习对这些架构而言还是相当新颖的应用，可能在开发环境方面尚需时日才会趋于成熟。

就目前而言，CPU 与 GPGPU 是立即可用的计算资源，如需要快速投入实战，这两种计算架构都可以胜任，但考虑到未来的应用需求以及复杂度的变化，不同类型的架构还是有各自的优缺点。不论是各自使用，或搭配混用，业界应针对应用场景做全盘考量。