空間音響(VR音響)のワークフロー
こちらはUT-virtual Advent Calender 2018 の19日目の記事として作成したものです。
この記事では、VR音響、空間音響とはどういうものなのかを簡単に説明し参考文献を紹介した上で、VRコンテンツに用いられることの多いAmbisonicsを使った制作の流れを紹介しています。
ボリューム感ある記事ですので、お暇な時にお読みください。
はじめに
VRに興味がある人であれば、一度は「VR音響」というものを聞いたことがあるでしょう。例えば、こんなのです。
向いた方向によって音が変化しているのがわかると思います。映像だけでなく音も一緒に動くことで、より臨場感の高い体験をすることができます。
おおよそのVRコンテンツでは360°映像を見渡す事ができますが、それを音でもやるのが所謂「VR音響」というものです。
VR音響(空間音響)について軽い説明
「VR音響」という言葉は俗称で、学術界隈ではSpatial Audio(空間音響)だったりImmersive Audioなどと呼ばれることが多いです。
Spatial Audioは言葉の通り、今まで2つのスピーカーなどで表現していた音響表現を拡張し、前後左右まで音の空間を広げた技術のことを指します。それらの技術はコンテンツの没入感を高めるために使用されることがしばしばあるので、Immersive(没入感のある) Audioとも言われます。
具体的にどんな技術があるかというと、
- バイノーラル
- Ambisonics (←上で紹介したYoutubeの動画はこの方式を使ってます)
- トランスオーラル方式 [伝達関数合成法]
- 22.2chなどのマルチチャンネル音響 [立体角分割法]
- 境界音場制御 (BoSCなど)
- 波面合成法 (Wave Field Synthesis)
などが挙げられます。場合にもよりますが、下に行けば行くほどコストが掛かる再生方式である一方、音空間の再現性は高まる傾向にあります。（再生環境だったり変換方法だったりで再現性が変わるので一概には言えませんが）
それぞれがどんな仕組みであるとかは全部説明するととんでもない量になってしまうので、日本語で書かれた参考文献をいくつか紹介したいと思います。
この２つはそれほど難しい用語を使わずに空間音響の歴史などについて書かれているので、おすすめです。
サラウンド研究の第一人者であるMickさんが主催してる勉強会のアーカイブ記事です。この記事の他にもサラウンドや空間音響を勉強するのに役立つ情報が載っているので、興味がある人は全部読むことを勧めます。
上で紹介した技術の理論を詳しく知りたい人はこれを読みましょう。私は数学や物理は苦手なので、全然理解できてません。
書籍だと、
これを読むのがおすすめです。空間音響をちゃんと勉強したいと思ったらこれは読んでおくべきというものです。
これもおすすめです。
空間音響に特化したものではないですが、初学者にわかりやすく書かれている音響学の本です。
また、空間音響を実際にどこで体験できるのかもご紹介しておきたいと思います。
まずバイノーラルやAmbisonicsですが、こちらはYoutubeなどの動画サイトでとても気軽に体験することができます。
この動画はすごくクオリティが高いバイノーラルレコーディングがなされたものです。
ヘッドフォンで聞いてるとは思えない空間の広がりを体験できます。
またAmbisonicsは変換の方法によっては、たくさんのスピーカーを使い更に臨場感の高い体験をすることも可能です。
ヤマハが誇る立体音響技術「ViReal™（バイリアル）」 | ヤマハミュージックメンバーズ
次にトランスオーラルですが、これは今現在テレビのスピーカーへの導入に向けて研究が進められていますので、今後気楽に体験ができるようになる可能性が高いです。
例えばNHKの研究だとこのような技術が公開されています。
ラインアレースピーカーによる3次元音響再生 | NHK技研公開2017
22.2chのマルチチャンネル音響は、全国のNHK放送局や放送技術研究所で8Kの映像と共に体験できる設備があり、そこで気軽に体験することができます。(私の大学にも22.2chの制作環境があります。)
そして境界音場制御と波面合成法ですが、これは再生に必要な機材がとてつもなく多いので、気軽に体験することができる場所というのは残念ながらありません。
例えば境界音場制御だと、その再生装置である音響樽が九州大学や東京電機大学などにあります。
VRコンテンツだったらどうなの
これまで空間音響の技術について紹介してきましたが、 VRコンテンツでこれらを使う時にどうすればいいの？っていう問題が出てきます。
どの技術もHMD*1との相性はとても良いとは思うのですが、スピーカーを使った空間音響技術(22.2chやトランスオーラルなど)は部屋の広さやスピーカーなどにかかるコストの問題から、そもそも気軽に導入することはできず、またそれを制作する環境やツールなどもほとんどないというのが現状です。そのため、スピーカーより気軽に導入できるヘッドフォンを使った空間音響技術がVRコンテンツでは主流となっています。
特にAmbisonicsはある点の全方位の情報を記録できるため、VRコンテンツととても相性が良いものとなっています。
この動画はAmbisonicsをどうVRコンテンツで使えば良いかを簡単に説明してくれているので、ぜひ見てください。
これはWaves Audioという有名な音楽用プラグインを作ってる会社が制作したビデオです。
この動画内で紹介されてたように、Ambisonicsを使った制作方法では実際にマイクロフォンでレコーディングする方法(Aのパターン)とモノラル音源やステレオ音源を組み合わせてAmbisonics(B-format)の形にするもの(Bのパターン)があります。
今回この記事では、この２つのパターンを実際に筆者がどのようにして制作を行っているかを具体例を挙げながら紹介したいと思います。
Ambisonicsマイクロフォンを使った制作方法
上で紹介したAのパターンです。これは例えば実際の音楽ライブをVRコンテンツにしたいときだったり、街なかの雑踏や室内の環境音をレコーディングしたいときに選ばれることが多いです。
レコーディングにはもちろんマイクロフォンが必要なりますが、この収録にはAmbisonicsマイクロフォンと呼ばれる特殊なマイクロフォンが必要になります。
例えばこんなのです。
SOUNDFIELD SPS200(写真左)とCore Sound TetraMic(写真右)
ZYLIA ZM-1(写真左)とZOOM H3-VR(写真右)
このようにいろいろな種類があります。
これらマイクロフォンのほとんどは４つの出力があるので、それをレコーダーに差し込んで録音します。(ただし上で紹介したZYLIAはこれに当てはまりません。PCにUSB端子を差し込むだけでOKになってます。)
レコーダーはなるべくAmbisonicsに対応したものを使うと良いです。(例えばTascam DR-701DやZOOM F8nなど)
レコーディング時のポイントとしては、
- マイクロフォンの向きと角度を必ず確認する。(Ambisonicsマイクロフォンを正しく再生するにはこの２つの情報が必要になります。)
- ４つのマイクロフォン出力を全て同じレベルでレコーディングする。
- マイクロフォンの高さに気を払う。(高すぎても低すぎても違和感が生じることが多いです。カメラを置く位置にもよりますが、おおよそ120cmから150cmぐらいが良いような気がしてます。今度実験してみようと思っています。)
などと言った点を気をつけながらレコーディングすると良いでしょう。
実際に筆者がレコーディングしたものを一つご紹介します。
これは、大学の有志ビックバンドのライブをAmbisonicsマイクロフォン(Sennheiser Ambeio VR Mic)とレコーダー(Tascam DR-701D)を使ってレコーディングしたものです。比較としてZOOMのH2nをMS方式でレコーディングしたものも録ってあります。
A: H2nでレコーディングしたもの
B: Ambisonicsマイクロフォンでレコーディングしたもの
(Bはバイノーラル方式でデコードされているので、どちらともヘッドフォンやイヤホンを使ってお聞きください。)
正直レコーディングされた音の好みは分かれるとは思いますが、Aでは音が頭の中でなっている感覚があるのに対しBは前から音がなっているように聞こえたと思います。またAmbisonicsマイクロフォンでは360°の方向が記録されるので、例えば後ろを向いたときの音の鳴り方というのも表現できるという利点もあります。
モノラル音源やステレオ音源を組み合わせてAmbisonics音源を制作する方法
上で紹介したBのパターンです。これは映画やアニメーション、ゲームなどで頻繁に使われる方法です。予めレコーディングしておいた音源を組み合わせ、最終的にAmbisonicsの形にします。
制作に必要なツールは、
です。
DAWはApple LogicやAvid Protoolsなど多くの種類がありますが、Ambisonicsの編集においては、Cockos Reaperをおすすめします。これは、他のDAWと比べ安価でありながら多くのチャンネルを扱うことができたり、VSTと呼ばれるプラグイン形式を扱えたり、拡張性が高かったりととても自由度が高いDAWとなってます。またAmbisonicsのプラグインはReaperを前提として作られているものも多いです。
AmbisonicsのプラグインはWaves B360 Ambisonics EncoderやAUDIO EASE 360pan Suite 3といった有料のものや、Facebook 360 Spatial Workstationなど無料のものもあります。ここでは、筆者オススメのIEM Plug-in Suiteをご紹介します。
これはAmbisonicsの研究が盛んなオーストリアのグラーツ国立音楽大学で作られたオープンソースのプラグインです。非常に高機能ながら、わかりやすい操作画面で簡単にAmbisonicsの編集ができるものとなっています。
このプラグインは発表されてからそこまで日にちが経っていないため、日本語はもちろん英語の記事も少ないのですが、最近こちらに日本語の紹介記事が掲載されたのでご紹介します。この記事を見ると、このプラグインは大体どのようなことができるのかを知ることができます。
この記事自体がすごく長くなってしまったので、細かい説明方法などはまた別の機会にしますが、最後に一つこのReaperとIEM Plug-in Suiteを使った例を紹介します。
5chの音源をAmbisonicsに変換しそれをバイノーラルで聞くというときのワークフローです。
まず、 reaper上に音源をドラッグしてきます。(もしくは⌥+ZでMedia Explorerを開き音源を貼り付ける)
(画面の見た目は環境によって違う可能性があります。)
次に左側にあるFXボタンを押し、IEMのMultiEncoderを選択します。そして音源が作られた環境のスピーカー配置をプラグイン上で作ります。(ほとんどはITU-R BS.775-1の配置だと思います。)
ここではL(1ch): 30°、 R(2ch): -30°、C(3ch): 0°、LFE(4ch): 0°[この音源はLFEは無音になってます]、Ls(5ch): 110°、Rs(6ch): -110°にしてます。
<本当はバスを組んでからプラグインを入れたほうが良いのかもしれません>
これだけで、5.1chからAmbisonicsのB-formatの音源は終了です。あとは左上からノーマライズ方法とAmbisonicsの次元数を選び、⌘+⌥+RでRender(書き出し)をするだけです。
またこれをバイノーラルで聞きたい場合は、IEMのBinauralDecoderを選択します。
これだけでAmbisonicsのバイノーラル化が終了します。これも⌘+⌥+RでRenderを行えばバイノーラル音源を手に入れることができます。
終わりに
ここまでマイクロフォンを使った場合と、DAWとプラグインを使った場合のAmbisonics音源の作り方をざっと紹介してきました。空間音響の紹介からしてしまったため、文量の割には丁寧な説明ができてない記事となってしまいましたが、今後はもっとトピックを限定していろいろなVRに役立つ音の作り方を(Advent Calender外で)紹介していきたいと思います。
もしここをもっと知りたいなどありましたら私までご連絡ください。(ここミスってるとかもコメント下さい、、)
