计算摄影是个时髦的词，简单的说，就是以前大部分需要人工完成的合成、修饰、处理等后期步骤交给算法来计算完成，它的重点是计算，而不是摄影，它并不是一种新的摄影类型，计算摄影会消耗大量的算力，因此必须得到通用处理器或者专业图像处理器的算力支持。计算摄影是个大概念，往下细分，里面大致有图像处理、计算光学、感光器计算、计算照明，接着细分的话，还能分出近百种子类来，而且还在不断丰富中，只要需要使用到图形处理器的操作和算法，全都可以装入“计算摄影”的大桶里，有手机厂商在炒计算摄影这个热点，其实，已经没有谁不是计算摄影了。这篇文章就来聊聊计算摄影，看看我们摄影中哪些地方需要计算。
色彩风格
不同的相机和手机厂商，对色彩都有都有自己的审美，逐渐形成自己的风格。在默认提供自由风格的同时，拍照设备往往还能提供额外的色彩风格选择，或者滤镜。
镜头矫正
镜头不可避免的会出现畸变，尤其超广，所以不少相机针对自家的镜头，会启动镜头矫正功能，这也能算计算摄影，通过矫正，让镜头拍摄网格时横平竖直。矫正还有消除紫边、暗角等，其实SOOMAL认为彗差也是可以通过计算消除的。
图像降噪
相机输出JPG图像，一定会降噪，因为从RAW直接输出，会有大量的噪点，曝光时间越长，噪点也就越明显。当年用相机长时间曝光拍夜景，拍15秒，降噪也得等15秒，就看到指示灯狂闪，只能等着。这是在计算，把噪点算掉，只是早年相机的图形处理器算力实在是太弱了。相机自带的算法耗时之外，可能效果也不理想，真正的老法师都用电脑并使用某些带特殊算法的软件来对图像降噪。
机内后期
相机的色彩风格、镜头矫正以及图像输出等一系列操作被统称为机内后期，其实已经就属于计算摄影范畴了，但提起计算摄影，未必能想起这些。
多帧应用
老法师们经常玩多帧，例如堆栈方式处理星空，再例如拼接宽幅照片等，但都得靠人工一帧帧的处理，索尼NEX系列，开创了相机自动化多帧的先河，多帧全景、多帧降噪、数字防抖等。这毫无疑问属于计算摄影了。
多帧开花在相机，结果却在手机上。多帧应用对算力有着无底洞一样的需求，相机用的处理器实在不够用。手机引入了这些多帧的应用方法，并且发扬光大，多帧在相机上是花样功能，在手机上成为了最核心的应用模型，时至今日，大部分手机出片都与多帧有关。多帧应用是典型的计算摄影，其实计算摄影时代早就开启了。
全景与延时
全景是个深受大家喜欢的一个功能，旅游区的使用率尤其高。早期不少机型，全景是通过视频抽帧的方式采样，成像质量都不理想，分辨率也不行，后期都使用连拍采样，分辨率自然高得多，画质也上去了。vivo有个的超级全景，与通用的模式不同，它的每一帧采样都是多帧HDR合成而来，所以能应付复杂的光影场景，付出的代价就是耗费多得多的算力。
延时摄影也是不少人喜欢的，这个功能来自相机，在相机上是拍摄定时间隔的序列帧然后使用电脑合成成视频的方式来实现的，在手机上则可以支持直接生成视频。
数字防抖
SOOMAL已经多次科普数字防抖的基础原理了，基于多帧对齐。虽然大部分中高级手机的主摄都自带光学防抖，但几乎都是采用混合防抖模式，即光学+数字防抖，这样能进一步的提升防抖性能。拍摄静止帧对算力压力并不大，但视频中使用数字防抖就不一样了，有些机型在拍摄4K或者高帧率视频时，防抖功能就消失了，因为算力或者算法跟不上，在视频拍摄中，数字防抖与静止帧防抖的区别是，视频防抖是前后帧对齐，数据量大，还需要快速响应，因此对算力需求要大得多。
HDR
HDR也是老法师门爱使用的一项法宝，依赖堆栈，人肉对齐。到了手机这，HDR成为小绿豆感光器对抗大底的最有力武器，短腿柯基骑上电驴后跑得比猎犬还快，是因为柯基找对了方法。在HDR的支持下，手机也有了良好的宽容度，拿得出手的暗部细节，关键是省事。
暴力的堆栈：夜景和星空
华为的夜景模式和vivo的星空模式，堪称堆栈的典范，通过长时间采样，抽取合格的合成帧，达到一键输出的目的，在相机时代，全靠人工，费时费力。星空模式是更为暴力的堆栈，还加入了消除星轨的计算，它会计算星空旋转的角度并选择天空区域后叠加。
对特定区域或对象的色彩渲染
针对特定区域，进行增强的色彩渲染，这是手机在普遍使用的一种图片观感优化机制。最常见的优化对象就是天空，把蓝天的饱和度拉高点，虽然失真，但是美丽，消费者普遍更喜欢这样的失真。
但总是会有点破绽，例如上图。留意树枝包围的天空和外部天空的颜色就没有连贯性，外部天空是经过色彩处理后回填。这种技术有时会翻更大的车，阴云密布的场景，可能会被当作蓝天白云来处理。
AI场景识别与定向优化
识别出场景类型，然后进行定向的优化，这样的逻辑很容易理解，但真正做好不容易。关键在于如何解读场景。
例如上图，可以解读成
-
花卉
花卉和蜜蜂
蜜蜂在花朵旁边飞翔
蜜蜂在珍珠梅旁边飞翔
蜜蜂在白色的珍珠梅旁边飞翔
蜜蜂在正在开放的白色珍珠梅旁边飞翔
阳光下，蜜蜂在正在开放的白色珍珠梅旁边飞翔
阳光下的珍珠梅花丛，蜜蜂在正在开放的白色珍珠梅旁边飞翔
阳光下的珍珠梅花丛，蜜蜂在正在开放的白色珍珠梅右侧飞翔，微距场景
……
不同的解读结果对应的优化预设自然不一样。AI场景识别这些年进步较大，发现植物就优化成“绿叶”的人工智障已经不多了。现在AI场景识别后触发对应的优化也越来越成熟，已经成为了菜鸟的好帮手。
对焦优化与AI物体识别
SOOMAL在各种文章里叨叨对焦优化很多年，到今年，主流的品牌旗舰，终于都实现了最基本的优化工作。有的优化不是依赖算力，只是逻辑上的优化，有的则需要算力支持。例如人脸识别后对焦的问题，早期算力算法都不太好，经常出现鬼脸现象，例如在树林里发现一张脸，并对焦过去，这就是鬼脸，现在基本不会有这种现象了。更先进的逻辑优化应该基于更广泛的物体识别，包括常见的禽畜日用品等等，以前觉得不可想象，现在是理所当然，iPhone已经在走出第一步了，能够识别常见动物。更需要逻辑优化的不是静止图像，而是视频，如何理解拍摄者意图，将是设备开发商们要准备的持久战。
人像模式
人像模式是在手机上土生土长的原生技术，它的核心技术有两个，一个是抠像，一个是美颜。抠像的基本原理是利用多摄像头的视差寻找大致的轮廓，依赖其他的技术，进一步求得精准的边缘，抠像技术这些年没有大进步，基本处于停滞状态了，业界似乎没有找到更强的算法来升级。
关于美颜，做得相对优秀的是vivo，美颜不是简单的液化拉皮去痘，他们的做法是生成一个面部模型，然后强化影调，让面部看起来更加立体。
景深的模拟，焦外风格化
人像模式给人印象最深刻的就是浅景深，看上去像单反拍的一样。背景通过抠像剥离，然后根据深度信息产生渐进的虚化，做得不太好的算法就是简单的高斯模糊。为了让焦外看上去更真实，有的手机例如iPhone会模拟二线性失真，还有的手机例如X70 Pro系列，可以模拟几种蔡司镜头的焦外风格。
纹理的重建与修复
因为降噪、或者因为镜头光学素质、感光器性能等、或者动态物体遮掩等原因，总会有应该保留的细节被丢失，这时要做的是将丢失的细节算回来。细节特征的获取可以通过诸多方式，例如弱光场景中的一块布，已经知道它是布料了，但没有捕捉到纹理，这个时候可以通过纹理库中的典型纹理来进行修复，增加点细节，虽然细节是假的，但看起来可能舒服，纹理还可以通过其他途径获得，例如使用其他摄像头同时采样。通过日积月累，摄像头识别出场景物体，并多重采样结合典型纹理进行修复是完全可能的。一个极端的例子，就是P月算法，指向月亮，无所谓清不清楚，算法会自动贴上已知的月球纹理。
超采样，多镜头融合
多帧成像，本质上就是超采样，用时间换多重采样，以改善画质。除此之外，多镜头也可以构成超采样，经过处理后进行画质增强，例如使用2X拍摄人像，此时主摄也在采样，作为纹理副本使用，类似的技术理论上还可以改善数字变焦的成像质量。
取景增强
因为手机大量的应用多帧，所以成像结果和取景时的情形可能不一样，没有做到真正的所见即所得，在这方面，做的最好的是iPhone，但后来竞品也慢慢追赶上来了，现在大部分中高级机型可以实时HDR预览，这需要消耗大量的算力。
随着手机在弱光场景下的实用性越来越高，弱光下取景也在改善，例如X70 Pro+就对弱光取景进行了优化。 各种视频社交软件，还有AR增强，例如加猫胡须加假发，卡哇伊得要死得那种，也是增强。
计算摄影的边界
上次那个P月事件，就引发过一轮计算摄影的边界在哪的思考？计算摄影离不开计算，但和摄影的关系是？是先摄影后计算还是无所谓摄得好不好都能算出来？摄影的乐趣会从此消失？摄影的真实性该如何确保？关于这个，暂时不会有答案，答案是不断尝试试探出来的。
欢迎大家聊聊你对计算摄影的看法，这次拿出一台iQOO Neo 5手机，几乎充新，作为助兴奖品，是不是有点眼熟，是的，是上个月那台，中奖的哥们竟然没来领，这个月接着抽。在留言处登录SOOMAL ID 留言就算参与了活动。
京公网安备 11011402011520号