- 原文：《Breakthrough Mobile Imaging Experiences》，是高通于2015年1月发表的一份白皮书文档，作者Pat Lawlor，高通技术市场部主管。这篇文章中主要介绍了数字影像市场的市场变革，高通处理器的数字影像处理功能等内容。其中不乏商业宣传成份，但对于普通人和行业人员来说，可以通过其中的数据资料，理解手机摄影成为主流的趋势，以及简单了解数字影像的工作结构和原理。
- 名词释义[译者注]：
光流：一个物体、表面、边缘在一个视角下由一个观察者（比如眼睛、摄像头等）和背景之间形成的明显移动。
光流算法： 用于评估两幅图像的之间的变形，它的基本假设是体素和图像像素守恒。假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，我们可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。
Lucas–Kanade算法： 这个算法是最常见，最流行的。它计算两帧在时间t 到t + δt之间每个每个像素点位置的移动。 由于它是基于图像信号的泰勒级数，因此是一种差分运算。在计算机视觉中，Lucas–Kanade光流算法是一种两帧差分的光流估计算法。它由Bruce D. Lucas 和 Takeo Kanade于1981年提出。
3.2 通过异构运算实现的先进计算摄影
骁龙处理器提供了一个高性能，低功耗，灵活的异步运算架构；为计算机视觉[CV]和计算摄影[CP]应用提供新的方案。处理这样一组多样化的应用案例的秘诀就是有一组多样化的处理引擎可供选择。除了相机ISP，骁龙处理器还有其它可定制设计的处理引擎，如CPU、GPU、DSP、视频等等。
CPU是那些不是高度并行，并需要进行分支操作的极端性能程序的最佳处理器。例如，CPU可用于Lucas–Kanade光流算法根据图像的局部特征对不同部分进行不同的操作。
当图像处理运算被分解成无数的并行任务，就交由具备并行运算能力的Adreno GPU来完成。Adreno GPU可用在诸如将物体从照片中移除等多种后处理工作中。当实时性能和低功耗下可编程性成为最高的优先级时，高通Hexagon DSP能以高功效比提供优秀的运算能力。Hexagon DSP还擅长于对象检测等多种计算视觉任务。
最后，在低功耗和实时性比可编程性更重要的时候，一些固化功能的硬件能让移动成像处理器任务以更高的效率运行。例如，在性能受限的移动设备上用专门的硬件实现YUV色彩转换和视频编码是最合理的设计方式。
专用引擎之间的适当协调是在低功耗下实现影像体验突破的关键。骁龙处理器提供最佳的异构算法以协调ISP和感光器核心的工作，让GPU提供卓越的陀螺稳像防抖。ISP提供需要稳定的图像帧，感光器核心处理器陀螺仪提供的运动信息，最后由GPU来运行稳像防抖算法。
强大的异构运算引擎的结合，一个顶尖水准的ISP，以及先进的系统软件让移动平台的高级计算视觉[CV]和计算摄影[CP]应用变得可行。CP利用骁龙处理器的运算性能加强影像拍摄，支持夜间模式拍摄、OptiZoom、UbiFocus等众多应用功能。CV也利用骁龙处理器的运算能力进一步增强了数字摄影，景深图生成，场景中的物体识别，并支持多种先进的功能应用。
计算相对于摄像头位置的场景中各点的距离，是CV的重要工作之一。景深信息可用于快读对焦，对象分割，重新对焦和距离测量。景深信息需要在多张以不同的焦点拍摄的图像中提取。虽然单个摄像头就可以连续生成多张不同焦点的图像，但双摄像头可以同步生成两张不同焦点的图像，利于消除场景随着时间出现的变化。
在场景中进行对象识别是CV的另一项关键任务，能让保持对移动物体的聚焦变得很方便。点击-跟踪功能能让摄像头“跟随”一个运动中的物体，同时能保持焦点，曝光和色彩的准确性且无需用户的干预。
骁龙处理器利用优化的异构运算处理让从点击触屏到跟踪的运行操作变得有效率，将点击-跟踪的工作负载分配到最合适的处理引擎。在目标跟踪首先由DSP来执行的同时，ISP生成图像让触控跟踪的应用程序进行处理，通用对象跟踪器的代码同时运行在多个CPU核心上。DSP将关键的信息返回给应用程序，最后由GPU渲染应用程序输出到显示设备。
4 移动影像体验的革新
骁龙处理器正在为移动影像体验带来新的革命。这些处理器使用先进的预处理和后处理降噪技术使得在弱光环境下拍摄静止图像或是视频录制中都带来清晰、高质、高分辨率的照片。
根据DxOMark在2014年12月的移动摄像头排名中，由骁龙处理器驱动的机器占据了前20名中的70%。这是高通QTI在成像系统领域每个方面都坚持不懈研究的一个证明，从感光器到后期处理，这一切的目标都是为了给现在的消费者带来尽善尽美的用户体验。
下文列举了一些例子来展示高通处理器是如何带来移动影像体验的。
4.1 超高速，高分辨率拍摄
智能手机用户希望能将特殊事物的所有色彩、质感和活力拍摄成高画质的图像。用户想要以高分辨率将获得所有预期的镜头，速度是图像采集和处理的关键。高通骁龙805处理器就具有一个1.2GP/s的超高速ISP。这个高性能ISP还支持零延时快门[ZSL]和高速连拍，因此用户总能拍摄到他们预期的一刻。ZSL使摄像头时刻准备着帮助用户准备拍摄到想要的镜头，用户可以随手拿起手机，触屏，拍摄，并且没有明显的延迟。通过骁龙处理器的快速连拍能力，帮助消费者快速拍摄，连续记录，捕捉珍贵的时刻。因此，他们可以清晰快速地拍摄到像体育活动那样的快速移动场景，例如，父母能迅速连续拍摄多张图片以记录下孩子进球得分的特殊时刻。
通过高像素吞吐量实现的高帧率摄影，可以不依靠慢动作回放捕捉到人们生活中难以通过眼睛看到的短暂瞬间。骁龙处理器领先的最高120FPS的全高清录影能力，让用户以慢动作回放录像。用户能够分析一次击打高尔夫球时球杆的摆动，记录并指导孩子如何在拳击运动中连续出拳，或只是一时兴起观察下落的雨滴。
借助高像素吞吐量，骁龙800成为第一个支持4K录像的移动处理器。现在，许多类似三星Galaxy Note3这样使用骁龙800处理器的机型，实现了4K分辨率的录像和回放功能。
4.2 类光学变焦
不同于数码相机，智能手机摄像头通常由于镜头尺寸和成本的原因并不具备光学变焦的能力。因此通过智能手机拍摄的缩放图像通常是通过被称为“数码变焦”的剪裁和插值的处理过程，使得图像模糊而且像素化明显。QTI的OptiZoom技术能显著提高变焦拍摄的图像，通过复杂的影像处理技术，提高了图像的实际分辨率。这一超分辨率功能能让用户看到超出数字变焦正常范围之上的细节。OptiZoom通过拍摄多张照片，并通过处理多张图片之间细微移动的方式获得子像素分辨率的细节。
4.3 在光线微弱的环境中摄影
智能手机用户希望在不同的光线环境下拍摄高品质图像。例如夜总会、焰火表演或烛光聚会等往往不依靠闪光灯拍摄就非常暗的场景。而在这些场景中使用闪光灯又会使主体过饱和[过曝]，可能会破坏照片的效果。
弱光摄影对所有的影像系统，尤其是手机摄像头都非常具有挑战性。现在的小像素尺寸图像感光器，根本无法收集足够的光线去生成一张干净的图像。因此需要先进的功能来克服这一限制。
例如，骁龙的ISP有先进的拜耳滤噪和小波滤噪，生成尽量干净的图像，并保持着场景的细节。大内核能分化噪点和边缘，保留图像的纹理材质和细节。
除了卓越的ISP能力，骁龙处理器也使用计算摄影[CP]及运算处理能力通过其它技术在照明困难的环境下拍摄高质量的图像，如HDR和高通ChromaFlash功能。
HDR需要用于亮度变化大的场景，以便能更准确地表现真实场景中从阳光直射到微弱星光的强度级别范围。这通常是在同一场景中拍摄多个曝光来处理，并使用高级图像处理技术将其组合成一张图像。
当一个对象在拍摄多张图像时正在移动，会导致一张照片中出现重复的图像。无鬼影HDR通过分析任何场景中正在移动的物体来避免这种情况的发生，并智能合并场景的多个曝光，以生成一张比通常的单帧摄影更真实，并且没有鬼影的图像。
ChromaFlash是一种通过处理两张图像的计算成像技术：一张在闪光灯开启时获得，并在闪光灯关闭之后非常迅速的拍摄另一张，从中提取出最好的方面。ChromaFlash从闪光灯图片中获取亮度，并从无闪光照片中得到准确的色彩，并渲染成一张白平衡准确和低噪点的照片。
4.4 彻底简化专业摄影制作
使用传统相机时，完美的拍摄需要由耐心、时机和准确的眼睛细节。骁龙处理器可让业余拍摄者更容易的捕捉到完美的镜头。例如，眨眼检测功能可以分析图像流中闭眼的人脸，只显示眼睛睁开时的“好”镜头，眼神判断会检测你的拍摄对象是在看着画面的正前方中央或是别的地方。图像稳定有助于尽量减小手抖和移动的影响，减少图像模糊和扭曲。点击-跟踪解决了摄像头保持对运动物体的对焦和适当的曝光——并且不需要用户的干预。
如今，消费者可以通过他们的智能手机轻松拍摄全景图像。全景图可获得比传统单帧拍摄更宽广的视野，由于全景图可以拍摄到更多的细节并给人一种“存在感”。拍摄一张全景图，由骁龙处理器驱动的设备拍摄几张照片，以获得场景中重复的部分，并将其无缝地拼接在一起。
4.5 即时编辑
许多数码相机的内部编辑工具既麻烦而且对于多数用户而言又太基本了。许多人更喜欢把他们的照片传输至个人电脑，可以使用功能更强的工具轻松地编辑修改。然而基于桌面PC的工具复杂，昂贵且不易携带。另一方面，如今的智能手机提供了更简单，成本更低，速度更快的方式去创造形象专业的照片，包括了即时编辑和增强照片的能力。通过当今智能手机上流行的许多照片编辑应用，可以相当轻松地修改或移除照片中的物体，或是生成艺术滤镜的效果。
利用双摄像头的视差，可以生成深度图，用于受人关注的应用，类似超快速对焦，去除物体以及其它目前无法想像的应用。例如高端智能手机具备的QTI对象分离软件功能，可以让妈妈立即删掉儿子毕业照中班上同学烦人的“照片炸弹”[做鬼脸破坏构图之类的行为]。
此外，场景中不同的物体往往处于不同的景深位置，传统的自动对焦很难将所有[或多数]物体的焦点集中。高通的UbiFocus功能使ISP去理解当前的3A设置，并自动对焦，获得五张不同焦点的图像，生成一张“完全对焦”的照片。通过UbiFocus，用户可以灵活地获得场景中所有或只是一部分的对焦。
4.6 用摄像头创造一个数字化的第六感
我们用数字化第六感这个词来直观描述当应用和设备给我们提供了超越人类五官感知的全新能力。移动设备变得更直观，人们可以通过数字和现实世界的连接来理解和认识身边的环境。人们可以通过3D了解事物，认识和了解对象的意义，并映射至身边的世界。通过CV、传感器融合和机器学习，将类似人类感知的能力合并至移动设备变得可行。下文例举了这种无限可能性中的几个例子。
人脸识别：CV技术的最新发展能让移动设备像人类一样处理脸部识别，这种能力将推动许多新的应用。例如，家庭共用的移动设备能区别出父母和孩子，给所需的设备解锁，并能给每个人提供所适合的应用和单独定制的内容。父母使用工作的邮件和应用程序，而孩子则访问适龄的游戏和动漫。
定位和映射：人们有能力识别物体并在它们周围的环境中进行定位，能构建一个周边的三维视图，当人绕着物体移动时，就能增加周围环境的全貌。与此相似的是，移动设备使用新的技术来对未知场景进行三维模拟化，并使用该模型的场景方向跟踪摄像头的位置。这种识别能力将以不同的方式带我们来帮助。例如，视觉障碍能通过这些技术在环境中进行导航，当这些技术和机器视觉结合，无人机将能进行自主导航，学会在何时悬停，着陆，并避免碰撞。
三维物体建模：通过CV，手机可以生成一个深度图，这是一些引人关注的应用的基础。想像一下将你看到的任何对象准确地构建成3D模型并打印出来的可能性。例如购鞋的体验将被改变。通过使用精确的三维脚模，消费者可以定制购买，通过3D打印的跑鞋能完美的合脚，让运动员在跑道上更有竞争力。
增强现实：在增强现实应用中，智能手机通过CV不断分析摄像头获得的信息，识别和跟踪有趣的对象，将它们定位在三维空间中，并展示相关的图文信息。高通Vuforia移动视觉平台正改变着你与世界互动的方式。例如，它能让用户在购买之前能看到家具放在家里是什么样子，在打开包装前就能进行互动；或是将视频游戏“投射”在咖啡桌上播放。
自然用户交互：通过CV处理手势也改变了我们与移动设备的互动方式。例如智能手机的摄像头可以检测一个手势用于打开电子书的页面。或是检测一个人正从口袋里拿出手机的动作。
文字识别：文字识别通过CV来处理如语言翻译或手写识别等复杂的任务。例如，你如果在外国的一家餐馆吃饭，并且不懂得语言，你的手机摄像头可以准确识别出菜单上的外国文字，将其翻译成你的母语，并在这个过程中显示相关的用户评论。
低功耗，高性能的骁龙处理器可在各种性质的设备上提供高品质的影像，包括智能手机、平板电脑、机顶盒、汽车等。第一款能买到的采用骁龙处理器的独立相机——Lytro Illum，一款通过Lytro软件平台设计的光场相机改变了我们看世界的方式。这个采用了4000万像素感光器的计算影像相机成为了高通处理器超越其他数码单反机型的有趣例子。结合Lytro创新的摄像头设计，展示了骁龙800处理器的威力。
通过高通QTI和Lytro协作，Lytro Illum提供了许多就在不久前我们无法想像的功能实现。
Lytro正利用光场技术开发一系列非凡的成像能力，例如在拍摄后的图片中探索景深，并将视角转换互动式生活图片和三维体验。
其它当代相机在获得更强大的处理器同时，光场相机仍需要更强大的计算能力。通过骁龙ISP、GPU、CPU和ISP的异构运算，将Lytro开发的光场相机在日常使用中更有效率。例如骁龙处理器充分利用双ISP进行图像处理，CPU进行实时的景深分析，利用GPU进行镜头和像差的校正。
5 影像系统生态的创新助力
高通QTI在摄像头硬件、软件和应用领域的创新上进行着努力。紧密耦合的工具、技术和创新与QTI对整个影像通道的理解，允许厂商对整个[终端到终端]系统进行优化。这种在生态系统中的积极参与，提供高质量和创新的特色是高通以外的芯片厂商无法提供的。
提供最佳的图像质量，需要一个明确、严格的发展过程。QTI对那些在相机生态系统中需要移动影像产品和体验的先进元素的深层次客户群提供支持，从组件设备到文档，工具，培训和客户/供应商的所有支持。QTI还与第三方开发商进行广泛的合作，进一步帮助OEM厂商提升差异化水平。
5.1 硬件厂商的参与和支持
相机的硬件生态系统包括图像感光器、执行器和控制器，提供对焦、防抖、光学，摄像头模块和闪光灯照明。这些技术在各个领域中都是复杂的，因此QTI积极地协调着这些功能和特点。通过与硬件厂商密切合作，QTI提供了一个完整的驱动库用于摄像头感光器和组件的全面调整。
例如，我们与独立硬件开发商合作开发双色温闪光灯照明。到目前为止，使用相机闪光灯会导致图像质量变差，皮肤色调常出现蓝色。双色温技术使用在可见光谱两端的LED，能更好地匹配环境光条件。与领先的LED组件供应商合作，QTI定义了图像感光器对光谱的响应处理特征。并以此信息定制荧光粉和发光二极管，使它们输出的光线和图像传感器的匹配更加理想。这种不仅是对单个组件而是相机整体“系统”地关注使得即使用闪光灯也能生成色彩自然的室内图片。
另一个案例是QTI在自动对焦领域的整体图像质量优化。对用户而言，快速、精确的对焦是忠实还原拍摄瞬间的关键。通过与相机感光器厂商合作，QTI正在实现相位检测自动对焦[PDAF]，这是一种曾经被用于高端数码单反相机的技术。摄像头利用相位对焦检测视野中所有对象的距离测量。与闭环自动对焦执行器向接合，摄像头可以快速设定至正确的焦点获得明快、清晰的图像。QTI正驱动着图像感光器和自动对焦驱动器的融合，并通过算法的支持将相位对焦带入移动影像领域。
5.2 图像质量开发工具
为支持摄像头开发，我们的驱动开发和包括Chromatix和Chromatix Light等图像质量[Image Quality，IQ]调整工具。Chromatix给专业用户获得访问ISP所有独立功能的完整权限以发挥全部实力。Chromatix同时还是一个驱动生成工具，大大地加速了摄像头感光器和骁龙处理器的整合。
提供更高级别的抽象层，Chromatix Light用于简化相机的内部调整，包括旋转、自动白平衡、色调、饱和度、对比度、色彩校正、降噪、锐化和曝光控制。Chromatix Light能更容易的访问IQ中的快速调整，并实时观察手机调整的变化。
QTI还提供了一个客观的画质[IQ]评估工具将调整开发和画质认证的多个测试流程自动化。这个工具有助于引导摄像头发展过程的可重复和可再现，提供了可供调整的坚实指标。
5.3 软件开发工具
为了确保骁龙处理器的广泛应用范围，软件开发的生态系统支持是最重要的。QTI致力于支持应用开发社区，这里着重介绍一些关键的例子。
5.3.1 Android Camera HALv3
高通QTI与谷歌在整合和发布安卓摄像头硬件抽象层[HAL]中紧密合作。这种紧密关系是高通在移动产业领导力的一个重要体现，支持热门的摄像头应用不仅提高了易用性，还提供了诸如增强现实、图像后处理器等多种实用和有趣的功能。
Android Camera HAL连接着andorid.hardware.Camera中的高级摄像头框架应用接口[API]和底层的摄像头软硬件。在Android L中，新的HALv3引入了一个新的摄像头堆栈，而QTI提供了最前沿的支持。
V1版本的摄像头子系统被设计为一个高层控制的黑盒子。操作被分割为预览，静态拍摄和录像。这种刚性的分割难以实现新的先进功能或是让相机应用控制图像感光器和ISP的能力。例如高速连拍模式，或是在录像中拍摄静态照片。
除了以统一的界面消除取代不同的操作模式，HALv3还带来的变化就是允许相机应用访问图像传感器和ISP。例如，HALv3能让OEM和开发者创造通过智能调节摄像头和ISP的智能应用以减少噪点，增加动态范围，增强色彩，改变景深和焦点等等。
5.3.2 特定领域的计算机视觉开发库
FastCV开发库提供了一个为移动平台优化的CV运行库，其中包括了在广泛的移动设备上最常用的视觉处理功能。
中间件开发人员可利用FastCV构建计算机视觉应用开发者需要的框架。例如，Qualcomm Connected Experiences公司的增强现实SDK[Vuforia]就使用FasatCV。先进的CV应用开发者可以直接在程序中使用FastCV功能。FastCV还帮助开发者在他们基于摄像头的应用中增加新的用户体验，如手势识别、文本识别、人脸识别和增强现实。
FastCV在所有基于ARM的处理器上都有效率，但在骁龙处理器上的优化更具优势。移动应用开发者可以利用FastCV无需明确的对处理引擎进行编程调用就能获得骁龙处理器异构运算的好处。随着硬件加速和更好的性能，这是开发者在计算密集的应用中使用最广泛的视觉处理API之一。
5.3.3 异构运算开发工具
对于那些不实用影像开发库而是对硬件直接编程的人，QTI已准备了强大的开发工具，这些工具包括Adreno SDK，和Hexagon SDK，OEM、ISV和应用开发者利用其优化在骁龙处理器上运行的移动影像应用的功能和性能。通过在最合适的异构引擎中运算计算密集型应用程序，开发者能以高性能和低功耗，创造出引人关注的用户影像体验。
Adreno SDK包括了工具、模拟器、运行库、文档、样例和教程。Adreno SDK支持OpenGL ES、DirectX和OpenCL等最常用的API。此外，Adreno SDK还包括了一些省时的工具，超过100个样例和教程，其中有50个高级着色效果。Adreno分析器为开发人员提供了详细的GPU利用分析，帮助他们优化成像算法获得更快的帧率，和更长的电池寿命。
Hexagon SDK为开发者提供了Hexagon DSP的嵌入式运算资源。利用Hexagon SDK，精通原生编程环境的开发人员可以在几周内通过世界一流的硬件级多媒体功能开发出优质的用户体验，而不是通常需要花费六到九个月修改源代码去实现同样的功能。
5.4 开发平台
DragonBoard平台是一个基于骁龙处理器的开发套件。例如Intrinsyc公司，就在销售基于骁龙805处理器的开发套件。套件展示了骁龙处理器和硬件厂商利用接头、连接器、适配器和扩展头挖掘其功能，在自己的产品开发中获得优势。DragonBoard开发套件被用于原型硬件组件和中间件的开发。
开发者可以在DragonBoard开发板上获得大范围的开发技术，包括Android、集成开发环境[IDE]、广播、应用处理器、调试器和显示器等。使开发者有机会为全球上千万的移动设备的移动处理器优化他们的应用程序。
移动开发平台[MDP]使用特定的骁龙处理器运行，使开发者在智能手机和平板等电脑商用设备上市前提供给开发者。例如销售基于骁龙805处理器开发套件的Intrinsyc公司，这些MDP能让在早期访问骁龙处理器的新功能，使开发者在基于骁龙处理器的商用设备发售之前优化他们的相机软件。骁龙处理器的设备可以跨层，开发者可选择现有的广泛商业设备去完成其相机解决方案的最终测试和验证。
5.5 技术支持
QTI的世界级工程团队提供了一系列的培训和其它功能支持，有助于推动移动影像社区的增长和发展。
QTI与世界各地的OEM厂商紧密合作，确保搭载骁龙处理器的智能手机提供卓越的拍摄体验。从项目启动到组件设备的选择，对处理服务的请求，提供一个易用的材料库支持，QTI对客户及其整个产品的生命周期提供前沿支持。
作为承诺的一部分，高通有一个部署在全球的大团队，包括客户站点和专门的支持实验室。这些站点包括一个完整的影像补充，软件和硬件工程师专注于让每个使用骁龙处理器设备的相机创造美妙的影像。
6 总结
移动影像已经发展了很长一段路，但仍有许多创新之处。今天，智能手机在更轻薄和省电的同时提供先进的功能和数码单反级别的画质。QTI是提供业界领先的完整相机综合方案领导者，不仅是因为采用了全面的移动芯片设计方法，还推动着移动生态系统的创新。在功率和发热限制的移动设备上提供下一代影像体验，骁龙处理器使用异构引擎和双ISP协作提供了无与伦比的图像处理性能。随着与全球移动影像生态系统的亲密合作，QTI坚持不懈地努力推动创新，提供世界上最好的相机体验。创造突破性的移动影像体验是我们的激情，而QTI仍将领导前行。
京公网安备 11011402011520号