杜比全景声与空间音频在苹果生态下的四类应用
SOOMAL 于 2022.01.18 23:18:46 | 源自:www.soomal.com | 版权:原创 | 平均/总评分:08.73/192

2020年WWDC上,通过iOS14操作系统发布,苹果宣布在AirPods Pro下提供空间音频Spatial Audio的支持,一年后WWDC 2021,苹果宣布Apple Music可提供支持Dolby Atmos杜比全景声的音乐内容。业界认为,在杜比公司的Dolby Atmos技术问世近十年后,苹果的姗姗来迟反而是打通了两声道杜比全景声体验的最为重要的内容一环。但实际情况如何?我们今天一文先通过在苹果iPhone、iPad和Apple TV下杜比全景声和苹果空间音频不同体验来聊一聊现在两声道虚拟环境声的体验。

在开始全文之前要明确苹果公司对空间音频技术体验的定义:一种剧场般体验的心理声学技术[Theatre-like experience, Pyschoacoustic technology]。

一、通过Apple Music的Dolby Atmos音乐

2021年6月苹果宣布Apple Music支持无损与高清无损,同时推出了支持杜比全景声Dolby Atmos效果的音乐内容,并且半年来保持着更新。在音乐内容中,杜比全景声效果并不仅针对苹果公司的耳机产品,任何耳机,包括有线耳机都可以支持该效果。只不过,在系统默认下杜比全景声播放设置为“自动”,可识别AirPods耳机后自动开启,而第三方耳机产品可使用强制“始终开启”来实现。

  • 如图所示,我们在iPhone、iPad、Apple TV连接AirPods耳机后,可以在app状态中看到“杜比全景声”字样,就说明真正打开此效果了。而第三方耳机没有任何UI上提示,但其实效果确实也是起效了。

    关于效果:大家评价褒贬不一,但肯定谈达不到“大多好评”。但值得一提的是,这个渲染器可以将原本两声道内容加入空间信息,也可以将原本本身就是多轨道内容加上空间信息。另外考虑到,两声道虚拟环境声所谓的心理声学,其实是需要人类大脑的一些想象力和关联能力。所以,目前场景固定易于大脑产生反应的古典音乐效果更好。

    实现方式:杜比全景声在音乐中的应用的提交并不困难,可以通过苹果自家的Logic Pro中的Renderer for Dolby Atmos插件来制作完成。而非苹果平台也可通过Renderer for Dolby Atmos的VST插件在音频编辑软件上完成。只要制作足够精心[比如非常丰富的录音轨道都可以单独指定空间信息,3D图形化操作等等比较方便],会有一定的效果。

    这套内容的本质,与Android、Windows几年前就提供的杜比全景声方案几乎没有差别,它在内容生成时已经通过杜比公司的渲染器做好了源内容对空间信息录入,所以对输出设备并不挑剔。不仅耳机可以听出效果,立体声喇叭也可以听出效果。

    二、通过苹果官方《TV》app

    这个app的服务目前在国内无法使用,我们以美服内容为例。杜比公司与大量在线视频流媒体内容合作,目前支持杜比全景声的内容已经非常可观。要确认自己是否在Dolby Atmos信号下,如图要参考AirPods Pro等耳机连接下的相关字样为“杜比全景声”,如果信号带宽不允许,此处有可能会跳为“立体声”。

  • 内容版权保护,所以底面是纯黑……
  • 关于效果:如果你真的体验过在Apple TV连接电视机后[当然,iPad也可以],使用AirPods Pro来听杜比全景声的效果,只能用非常震撼来形容。此时耳机的低频动态,声音风格都发生了非常明显的变化,声音的平均响度也比普通立体声下有了不小的提升。虽然不敢说后方环绕声有多么逼真,但前方结像的位置已经可以精确的放在身前两三米电视机的位置,而且动态表现远远超出AirPods Pro在普通立体声模式下的水平。顶部空间与后侧空间环境声效果,超越电视机音响问题不大。

    实现方式:在播放在线流媒体视频内容中的杜比全景声音轨时,它的工作方式已经和我们第一条谈到的音乐内容中的全景声不同。理论上说,它是将多声道内容做了虚拟空间化的处理,包含空间信息和音频信息传输给渲染单元。但是,电影中Dobly Atmos的音轨与普通7.1、5.1音轨效果为何有巨大差异?目前不知其原因。

    补充一点,如果没有官方《TV》下的电影,也可以去看看苹果的各厂发布会内容,它的空间音频效果也是绝对的典范级,定位效果不比电影差。

    三、通过支持多声道的第三方app,如《Infuse》

  • 关于第三方app如何支持杜比全景声,iOS15上也提供了方便实现方法,只需要标记为标准的多声道内容,就可以被识别。遗憾的是,我们国内的优酷、爱奇艺、腾讯等app,即便在特别会员下,杜比剧场等类似内容的音轨也是通过上文所说第一种方式事先合成的,所以无法实现第二条谈到的实现方式。

    而我们找到了原本在Apple TV上最常用第三方视频播放app《Infuse》在最新版本下提供了多声道信息的音频向AirPods Pro等耳机传输的功能。如图所示,我们看到这里显示的不是“杜比全景声”而是“多声道”。这点应该是杜比公司和苹果公司的限制,关于细节本文不再展开。

    关于效果:像《Infuse》这样,可以将杜比全景声甚至DTS、AC3等传统多声道内容,输出给耳机以“空间音频”方式来播放的第三方app,效果同样不错,在声音整体动态方面仍然明显优于耳机立体声模式。低频的量感、风格也和普通立体声音乐模式下差别很大。但是,在结像准确性,空间感,低频的动态等方面要落后于流媒体内置的杜比全景声音轨还原,即不如上文的第二种方式。

  • 实现方式:关于第三方应用实现,准确的说应该称之为多声道渲染下的空间音频,如果视频内容有5.1以上规格音轨,第三方应用可以方便的导入该音轨,空间音频可以自动识别,并且完成渲染和传输。它的传输方式与第二条谈到的一样,与第一条音乐的全景声不同,所以,仍然需要苹果特定耳机支持,播放设备也有一定限制。

    四、游戏和app的支持

    在iOS15这一代操作系统中,苹果的空间音频最大的扩展来自于PHASE音频架构。它从音频架构底层进行了重建,将音频事件渲染与3D图形渲染处于同一级别,将几何信息、事件触发信息等图形渲染与音频同步,真正的将物理信息对声音的影响加入到了环境声之中。

    试想,身处一个小河旁山脚下的第一视角主人公,原本周边的声音需要通过预设多个点,通过渲染路径运动路径触发实现。环境音,通过多个点声源来配合完成。而在PHASE下,所有环境声为体积音源,环境中可以加入不同影响声音的物体,物体形状、材质等声学物理特性可以被定义;人物移动如踩到泥、踩到砂子等物理特性同样被声学物理特性以及事件渲染相关。

    这套设计主要针对未来的app应用和游戏应用等,我们目前没有找到明确了使用该技术的游戏。没有具体体验。关于这方面技术,我们并不专业,也许描述的不够精确,敬请谅解。

    最后,对比Android与Windows

    2012年,杜比公司便发布了Dolby Atmos技术,关于技术的描述一直以来都神神秘秘,说法大概就是在音频信息中加入了空间信息,在家庭应用中我们可以看到7.1.2、7.1.4等配置,顶部声道加入可能是以往大家关注的亮点。而顶部声道的录制,现在也成为了目前行业最主要规范之一[比如奥运会转播等]。

    但Atmos的核心在于将内容源编码加入空间信息,无论是家庭的7.1.4还是电影院的64个通道,甚至传统立体声小喇叭如手机,或耳机。它都由特殊的编码来定义空间信息,然后再做分配。

    为了推广Atmos,其实早在五六年前,杜比就在Windows下推出了Atmos for Headphones的应用,它不但可以支持立体声的虚拟化环境声,还可以支持传统杜比多声道到耳机两声道的渲染。但由于杜比音轨和Windows下视频源内容生态较为复杂,愿意体验的人可能不多,其实今天,我们通过第三方播放器调用,经过一通设置也是可以感受到该应用的效果。

    同时,杜比公司还早就在Android手机上推出杜比全景声认证的外放,这种效果的实现方式与我们谈到的第一种方式类似,就是将内容通过杜比的渲染器渲染后,两声道输出。这种配合的方式,除了一些Demo效果不错外,显然不可能做到各种各样视频内容都有好的表现。

  • 该标志只说明视频内音轨为杜比渲染器标准的ADM音轨
  • 这里我们要提一句Bilibili的大会员下杜比全景声支持,通过MP4封装真正的来自Renderer for Dolby Atmos渲染器得到的ADM音轨,就可以点亮全景声的标志。但正如我们介绍的,该方法属于第一种预渲染的机制,所以对于AirPods等耳机并无加成。而即便没有ADM音轨,但是原本立体声AAC音轨已经是通过渲染器渲染的,理论上效果并不会有什么差异。这种效果,其实还停留在目前Apple Music、以及安卓杜比全景声的大部分应用的档次。与iOS15下的杜比全景声+空间音频加成没有关系。所以,我们会发现很多在B站没有点亮大会员杜比Atmos LOGO的视频,其实也是有效果的。

    总结

    通过今天的文章,主要想表达有几个方面内容。

    第一,杜比全景声音乐是传统的渲染和传输方式,它的效果好坏与渲染前本身是否为多声道、或者从多轨道录音开始制作,以及混音精致程度相关,这种方式不挑回放耳机。理论上它与Android、Windows下的杜比全景声没差别,只不过苹果现有内容可能精良的内容更多。

    第二,苹果空间音频+杜比全景声的组合在于多声道内容到苹果特定耳机的回放,这包括苹果官方《TV》app和游戏等应用可以支持的全景声或多声道空间音频;也可以包括向空间音频输入传统的多声道信号后,连接苹果特定耳机回放的空间音频内容。这种方式下,声音效果极为出众,以AirPods Pro为例,已经远超该耳机在普通模式下表现。可以认为,这才是“空间音频”正确打开方式。

    第三,苹果在iOS15系列操作系统下为音频架构加入了“物理引擎”PHASE,对于未来空间音频应用,以及VR+AR应用来说,理论上有很高价值。

    第四,有没有发现我们全文都没有提原本大家都认为重要的“头部跟踪”?虽然它看似酷炫,也最容易被体验到感受到,但它只在第一步人脑创建预想的心理声学环境时有很好的作用。但空间音频在目前影音应用中效果好坏,与“头部跟踪”并没有因果关系。

    请评分
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    223.246.036.***
    223.246.036.***
    发表于2023.01.30 16:10:06
    54
    125.088.013.***
    125.088.013.***
    发表于2022.12.05 14:30:46
    53
    183.234.003.***
    183.234.003.***
    发表于2022.07.06 13:46:56
    52
    111.199.218.***
    111.199.218.***
    发表于2022.02.16 12:10:25
    51
    027.008.169.***
    027.008.169.***
    发表于2022.02.11 17:02:15
    50
    017.094.084.***
    017.094.084.***
    发表于2022.02.03 16:22:23
    49
    101.080.***.***
    101.080.***.***
    空间音频确实是非常棒的体验,可以很好的体会到双声道到多声道的转变
    此帖使用MAC提交
    发表于2022.02.02 23:10:29
    48
    119.052.212.***
    119.052.212.***
    发表于2022.01.29 16:20:25
    47
    175.031.228.***
    175.031.228.***
    发表于2022.01.29 16:19:41
    46
    122.141.188.***
    122.141.188.***
    发表于2022.01.29 16:19:14
    45
    03
    但是能吃透并应用好的团队真不多
    此帖使用Android设备提交
    发表于2022.01.29 16:08:41
    44
    124.228.192.***
    124.228.192.***
    发表于2022.01.26 21:11:07
    43
    03
    不知道人头录音和苹果这套空间音频,有没有可比性,又或者是使用场景、制作成本、技术等等什么的,制约了它的发展
    此帖使用ACTION REACTION提交
    发表于2022.01.23 18:27:19
    42
    03
    如果空间音频归属于数字音频的话,那确实是这样,既然苹果有这么大的意愿推进和不断优化提升,那么何乐而不为呢,在用🍎的不需要付出额外的成本就可以享受到了。
    只可惜了安卓上的残缺,其实五六年前,很多中低端机也带杜比音效,可惜就是个无用的多余,开了就是个负效果。。。
    设想下,苹果如果这么一直发力折腾下去,又何止是第三只耳朵。

    此帖使用ACTION REACTION提交
    发表于2022.01.23 18:19:25
    41
    10
    从底层原理来说似乎还都是基于hrtf那套研究。
    实现方法来说eax等还是基于音频架构,杜比基于音频内容本身的混音。
    不太了解目前3d内容创作的底层架构,怀疑苹果的phase应该不至于独领风骚吧,可能其他游戏引擎上也有。
    此帖使用MAC提交
    发表于2022.01.23 17:50:17
    39
    03
    让我想起Creative 的 EAX
    游戏的声音引擎 可以向苹果这种空间音频发展吗?
    VR+AR应用上有没有价值?!
    森泃妏蚚Win10枑蝠
    发表于2022.01.23 17:00:19
    38
    223.112.036.***
    223.112.036.***
    发表于2022.01.23 16:32:23
    37
    03
    又或者一楼的才是真正的大湿,万物归一了。。。
    此帖使用ACTION REACTION提交
    发表于2022.01.22 13:36:36
    36
    提示
    本贴不可匿名回复,回复等级为:1 ,您现在正处在潜水状态
    回复
    验证码
    4338 为防止广告机贴垃圾,不得已而为之
    表情
    正文