让声音围绕：看3D音频如何入侵你的大脑

2016-12-30 08:09 | 原作者: 梒小婵

VR让百年历史的音频技术东山再起

Mona Lalwani写于2015年2月12日10:30

去年下半年的一个晴朗的下午，我去曼哈顿上东区拜访普林斯顿大学机械与航空航天工程专业的一位教授Edgar Choueiri。Choueiri也是该校3D音频和应用声学实验室的负责人，在过去的10年里，他全身心投入到双耳录音系统的开发、应用和改良上——一种拥有百年历史的逼真3D音频完美捕捉的音频录音技术。

在他灯光温暖的公寓里，我窝在他起居室的皮质沙发里，眼前一对扬声器赫然可见。Choueiri坐在旁边的椅子上，滑动iPad的屏幕，设置了一组双耳音频演示。过了一会儿，Amber Rubarth那无拘无束的声音充满了整个房间，她演唱了一首乐器伴奏版的Louis Armstrong的“A Kiss to Build a Dream On”。整个房间变成了一场近距离的现场音乐会，音景生动有如身临其境：Rubarth好像就在我右前方，乐队则在我另一边。右边的大提琴拨动着琴弦。几句深情演唱之后，左边的小提琴声又吸引了我的注意。我凭直觉朝那个方向看了一眼。有那么几秒，我的大脑甚至就要相信整个表演就是真实的现场而不是录音了。

“你可以听到鸟儿飞过你头顶。你可以听到一只耳朵旁边的轻声细语。”

“它把你带入到本来最初的那一个声音场中，”Choueiri介绍双耳录音时说。“你可以听到鸟儿飞过你头顶，你可以听到一只耳朵旁边的轻声细语。如果你录制了乐队的声音，那么你将听到乐队演奏时的精确位置。”

几十年来，双耳录音还算一个新事物，并且由于技术上的低要求而被忽视了。但是随着虚拟现实硬件的崛起，比如Oculus Rift,索尼的Morpheus和三星的Gear——这些都是依靠逼真的3D音频让用户身临其境的系统——双耳音频处在了复兴的浪头上。

双耳录音系统的独特在于其模仿了人类大脑的工作方式。我们大脑的解剖学结构对我们如何理解听到的声音有决定性影响：厚厚的头骨和海绵状的大脑两侧各有一只耳朵，我们听到的声音在不同的时间进入左右耳。如果一只狗在你左耳边叫，则叫声传到右耳需要多花几微秒；一边耳朵听到的也比另一边大声。此外，声波与听者的身体结构——耳廓（或外耳）、头部和躯干——还有周围的空间相互作用，创造出听者专属的声音变化，这些都有所谓的头部相关传输函数。大脑分析这些极小的时间和强度的耳间差别，从而精确地定位声音。

习惯上录音有两种方法：单声道和立体声。单声道使用单个话筒采集声音，而立体声使用两支分开放置的话筒。双耳录音在立体声录音的基础上更进一步，在仿真人工头的两侧耳状腔内放置两支话筒。因为仿真人工头重塑了人脑的密度和形状，所以这些话筒捕捉、加工声音就和人耳真是听到的一样，保留了双耳之间的差别信号。使用耳机听时能获得最佳体验效果，左右耳可以听出明显差别。这是一个简单的概念，但是通过高质量的话筒实现、并且使用同等高质量的耳机播放后，效果就很神奇：它能够让大脑相信听到的是直接的声音。

AT&T的 Oscar，一款早期的双耳录音仿真头。图片由ACTA Acustica提供

这种错觉创造出3D音频，但不要与环绕立体声混淆了。交换这两个术语的概念最能娱乐——甚至有时会惹恼——声学家了。环绕立体声系统使用了多个扬声器，在听者周围创造出360°的声场。比如你在看一场环绕立体声的电影：你看到屏幕一侧发生爆炸，那么影院对应一侧的扬声器就会发出炮火的声音。配置了Dolby Atmos技术（公司最近的技术叠加）的影院有效地全方位包裹住听众。但是双耳音频是通过精确重塑指定场景中你耳朵所听到的声音，不用使用数量众多的扩音器，就能实现更自然的3D声音。

双耳音频的核心技术可以追溯到19世纪的法国工程师Clement Ader。1881年，Ader设计出了电话戏剧，这是一种使用电话传送并播放巴黎歌剧秀的系统。成对的麦克风有序放置在舞台前方，覆盖了从左到右的整个范围。表演的声音信号通过电话接收器传输给另一端的听众。一对接收器分别戴在两只耳朵上，听众就可以听到Palais de l’Industrie剧场中的特定组曲。

1933年AT&T贝尔实验室把双耳音频带到芝加哥世界展览会上。该公司的声学研究部创造了一款名为Oscar的机械人工头，在其两颊、耳朵前面放置了麦克风。Oscar坐在玻璃房内捕捉声音，而游客聚集在外面使用耳机精确地听到人工头锁听到的声音。这种技术改进了Ader的经验，但是这两项发明音质都很差。

Oscar第二代，在AT&T的第一代人工头基础上有了明显的改进。图片由ACTA Acustica提供。

二战期间及之后的几十年内，双耳音频的发展面临着严重的阻碍：原始的技术无法实现精准、高保真的录音。但在1973年，知名德国麦克风公司Neumann引入了具有突破性的一款模范双耳录音设备KU-80。Neumann的迭代包含了一个分离的人工头，麦克风放置在耳膜处，这个位置捕捉的声音信号比之前的设备更精准。间隔了三代人工头又出现了KU-100，这一代人工头于1992年引入，特点是运用了全向麦克风，巧妙地保留了空间线索和声音整体的音质。它持续成为双耳录音人工头的核心。

双耳音频在某些录音群体中能够找到归宿：这项技术在广播剧和实验性的声音艺术中就有很好的效果。同时，Lou Reed、Thom Yorke和Imogen Heap这些音乐家都体验过双耳音频的作品。最近，ASMR（自发性感知经络反应）团体正在使用双耳录音，想要触发他们认为可以起到安抚、舒缓作用的身体反应。

现在，几乎在电话戏剧终结了一个世纪后，投资者又开始把目光转移到3D音频技术上：索尼的VR耳机项目Morpheus的原型包含了在开发中定制3D音频双耳解决方案。“3D音频增加了现场感，这是我们一直努力在VR中想要实现的视觉感受，”索尼电脑娱乐美国公司的高级研发总监Richard Marks说，“当声音作为视觉的刺激物从同样的方向传来，虚拟体验的可信度就极大增加了。既然完全视觉的VR体验可以实现，那么再加上3D音频就能极大地增强VR体验的效果和深度。”

比起视觉上的3D效果，3D音频提供的体验内容更丰富。“与视觉不同，3D音频不会受到显示器的视野局限，它可以带来‘完整的360度’体验，”Marks说，“VR设计的最大挑战之一就是用户可以看向任何方向，可能并没有看到有些重大事件的发生。但是使用3D音频作为信号，就可能把用户的视觉上的注意力转移到声音上，类似于现场剧院使用的技巧。”

3Dio的全双耳录音装置。图片来自futureofstorytelling

视频导演Chris Milk——之前为Kanye West、U2和Arcade Fire制作过音乐视频——他利用双耳录音的拟真能力制做出虚拟领域的演唱会。去年，他把Beck的一场演唱会制作成了一部革命性的VR电影“Hello, Again”。为了配合360度的视觉体验，Milk开发了一种双耳系统，制作了360度方位的声音。“如果我让你们看到每个方向的画面，声音只来自于一个方向可行不通，”他说，“你朝后看的时候，还能听到你身体朝前时的声音。所以我们需要根据你视觉上看的位置来动态改变声音。”

他巧妙地设计了一个系统，使用了8只耳朵的全双耳人工头，把4对3Dio的自由空间麦克风每90度进行植入。然后做了一个软件，对这些耳朵捕捉到的声音进行加工，产生所需的效果。戴上VR耳机观看时，耳机中的双耳声音正好配合了Beck视频中一步步走来的视错觉。

Apollo Studios的总监Jean-Pascal Beaudoin很看重3D音频对VR体验的重要性。“如果有一个清晰的声音从你左边传来，你转动头部90度冲那个方向，这时你所期待的声音就应该正好在你前面传来，”Beaudoinshuo ,“如果没有，如果声音还是在你左边，可能你就会很出戏，甚至自己都没有意识到这个不好的体验。”

Beaudoin为VR做的3D声音是由Felix & Paul Studios提供的，Felix & Paul Studios是三星Gear委托制作一系列360度实景真人视频的VR产品公司。“我最感兴趣的是通过创造让3D音频在叙事、情感和互动方面展现出无限可能性，”Beaudoin说，“我们在融合VR媒介的方面才仅仅做到表面，但是我们做的每个项目都在建立一种新语法的层面取得了进步。”

Thom Yorke在用Neumann仿真人工头录音。图片由Dead Air Space提供。

尽管双耳音频存在巨大潜能，但是在VR内容的世界里并没有普及。“在制作内容的时候，音频往往处于次要位置，” Jaunt团队（Jaunt是一个捕捉并创造电影虚拟现实的开发商和一站式服务点，基地在帕洛阿尔托）的首席音频工程师说，“那么多的作品融入了虚拟元素，无论是游戏还是电影，有时候音频只是后来加进来的。但VR作为一个有内容的媒介来说，很重要的一点是，这个媒介从一开始就能够把双耳音频植入在其中，这样内容制作者就很容易使用双耳音频了。”Jaunt保证在他们的平台创作的每一个内容都会出现双耳音频。

我们再回到曼哈顿，Choueiri正在考虑另一个问题：自从这项技术全面开始，就为耳机保留了双耳音频。但是Choueiri想要让外部扬声器系统也能实现这项技术，这样就有更广的观众群。挑战在于，用了扬声器，右耳不光听到右边的信号，同时也听到了专为左耳准备的信息。“信号混在一起，这样是听不到3D声音的，大脑只能定位扬声器的位置，”Choueiri这样说，“这就像看3D电影的时候不戴3D眼睛。”

尽管很慢，但是可以肯定的是双耳音频正变成虚拟现实发展中的关键。

几十年来，扬声器之间的混乱串声问题一直困扰着音频制作团队。但是Choueiri的BACCH SP滤波器可以保留一对扬声器的声音信号，为听众创造出3D音频的感觉。Jawbone在过去的两年里采用了普林斯顿大学的算法，为他的无线蓝牙扬声器Jambox制作了一个现场音频的滤波器。装上这个迷你扬声器，数字滤波器优化了音频，就能创造出3D的声音体验。尽管很有效，但是这种3D效果的体验只局限在一个最佳听音位置——设备需要放在听者的中心位置。听者只要离开这个位置，3D声音体验就会立即崩坏。Choueiri说这款软件有一个版本是BACCH-dSP，它加入了头部追踪的特点，无论听者头部如何运动都能保持3D效果，实现了在笔记本电脑上体验3D音频。

尽管很慢，但是可以肯定的是双耳音频正变成虚拟现实发展中的关键。Oculus最近的原型Crescent Bay上个月在消费电子展上首次公开，它结合了双耳技术与Rift的头部跟踪技术，实现了听觉-视觉的融合。虽然索尼的项目Morpheus还没有公布产品的最终规格，但它们把重点放在3D音频上是显而易见的。正如Jaunt的Adam Somers所说，“双耳音频对于在VR内容中创造身临其境的体验至关重要。我们认为音频在整个体验中占据了50%的比重。”

本文出自《midifan月刊》2016年12月第129期。

发布者: 梒小婵