360動画とAmbisonicsをFacebook live 360でライブ配信

こんにちは。

実はFacebookは2017年に360動画のライブ配信機能の提供を開始し、それとともに1st Order Ambisonics音源の対応も開始しました。

facebook360.fb.com

大学のTA活動で、先生から現在の音楽ライブ技術について調べるように言われ色々調査してたら、Facebookがこんな機能をだいぶ前に発表してたことに気づきました。

しかしながらどのように設定すれば、360動画とAmbisonicsの同時配信ができるようになるのか、日本語での解説がないだけでなく、英語であってもきちんとした解説がない状況で、あまり活用されていないような感じがしたので、ここでこの形式での配信セッティングの一例を紹介したいと思います。

ストリーミングのためのセッティング

ここでは一例として、Ricoh Theta Vと ZOOM H3-VRをつかった機材セッティングを紹介します。

必要な機材

  • 360度カメラ (PCに外部カメラとして映像を転送できるものであればなんでも大丈夫だと思います)
  • Ambisonicsマイク (USBマイクでも普通キャノンで接続するマイクでもなんでもOK、ただFacebookはFOAしか対応してないのでHOAマイクを使ってもあまり意味ないです[持っている人なんてあんまりいないけど])
  • それなりのグラフィックを処理できるPC (4KストリーミングなのでそれなりにGPUパワーを使います)
  • OBS (映像と音声をマージしてFacebookに転送するために使うソフト)
  • FFmpeg
  • 安定したネットワーク回線
    f:id:RAInekie:20210508051137j:plain
    筆者が試したデバイス構成。これを音楽ライブの適当な位置に置いていくつかの設定をすることで、気軽に360度+Ambisonicsのライブ配信ができる

OBS設定

このストリーミング構成では、カメラとマイクをOBSで認識させそれをFacebook live 360でサポートしているフォーマットに変換し、それをRTMPFacebookに送ります。 このFacebook live 360でサポートしているフォーマットというのが厄介で、 flv containerで、4ch aac audio codec と x264 video codecでないとFacebookは360動画+Ambisonicsとして認識しません。

Audioの設定

  1. OBSのAudio設定を変更

OBSのSettingからAudioタブに行き、GeneralのChannelsを4.0chに変更する。

f:id:RAInekie:20210508050134p:plain

  1. OBSのAudio Output設定を変更

Setting > Output > Audioに行き、一番上のOutput ModeをAdvancedに変更。そして、Ambisonicsマイクが入力されるTrackのAudio Bitrateを適宜変更。OBSのリファレンスでは 64kbs*channel数がCDクオリティのビットレートだそうで、4chセッティングの場合は256kbs以上がおすすめみたいです。

f:id:RAInekie:20210508050256p:plain
赤い枠線のところを設定するとbitrateが変更できる

Videoの設定

  1. ストリームプラットフォームの選択

Setting > Streamを選択し、ServiceをCustom...に変更。下のふたつは後ほど設定します。 f:id:RAInekie:20210508050418p:plain

  1. 映像の解像度の設定

Setting > Videoで、Base ResolutionとOutput Resolutionを以下の値に変更。これは環境や映像デバイスによって変化すると思います。

  • Base Resolution : 3840x1920
  • Output Resolution : 3840x1920 f:id:RAInekie:20210508050447p:plain

映像フォーマットの変更

  1. 各種フォーマット設定

Setting > Output > Recordingで以下のように設定する。

  • Type: Custom Output (FFmpeg)
  • FFmpeg Output Type : Output to URL
  • File path or URL : rtmps://live-360.facebook.com:443/rtmp/
  • Container Format : flv
  • Video Encoder : h264_amf (libx264) <- どこかにx264と書いてあるものだったらなんでもOKです
  • Audio Encoder : aac f:id:RAInekie:20210508050537p:plain

OBSのSource設定

H3-VRとTHETA VをOBSで認識させる。どちらも環境によってはドライバが必要かもです。公式サイトからダウンロード可能です。 f:id:RAInekie:20210508050736p:plain H3-VRはデバイスの設定でAmbixでレコーディングされているかを確認してください。

THETA Vは以下のような設定になっているか確認してください。 f:id:RAInekie:20210508050812p:plain

Facebook live 360の設定

Streaming設定

Facebook live 360に行き、以下のように設定する。

  • Get Started : Use Stream Key

Settings > Stream

  • Broadcast this as a spherical video : On
  • This broadcast has Audio 360 (ambix4) : On

URLとKeyの取得

上の設定をした後に、右側にあるLive Stream SetupのServer URLとStream KeyをOBSのSetting > Streamに貼り付ける。

最終チェック

OBSのメインウィンドウの右下あたりにある、Start Streamingを押すと、映像がFacebook側に送信され、Facebook liveのページに映るとOBSの映像と同じものがFacebook上にも写っていることが確認できると思います。

f:id:RAInekie:20210508050036p:plain
OBSの動画を受信したFacebook画面

最後に

このような設定をすることで、Facebook accountと機材を持っていれば誰でも360動画とAmbisonicsの同時配信ができるようになります。

またOBSのドキュメントでも言われているように、ambisonics音源はマイクからの直接入力だけではなく、Reaperなどを使ってambixフォーマットの音源をライブミックスし、それをOBSに送ることで、よりクオリティの高い音源のライブ配信をすることもできます。

ぜひトライしてみてください!

参考文献

Wiki - Surround Sound Streaming And Recording | OBS

Let's live stream in 4K using RICOH THETA V | RICOH THETA

Wwiseというオーディオミドルウェア ―ゲームサウンドの表現ツール

気が向いたときにコラム形式で音に関する記事を書いていこうと思います。

 

まず日頃Unityで制作されてる皆さんに、音の表現をより豊かにするツールを紹介します。

Audiokineticというカナダのソフトウェア会社(最近ソニー・インタラクティブエンタテインメントが買収したらしい)がつくったWwise(ワイズ)というゲーム開発用のインタラクティブサウンドエンジンです。

www.audiokinetic.com

 

これは、UnityやUnreal Engineに組み込んでゲーム中の音の表現をインタラクティブに制御することのできるミドルウェアです。

まずは公式の紹介ビデオを見てみましょう。(ちょっと長い[9分]けど)

youtu.be

紹介されてたように、これはゲーム内の音のリアリティを向上させる 

・条件/環境の変化による効果音のインタラクティブな変化

・条件分岐によって音楽を変化

・プレイヤー/オブジェクト位置の変化による音の方向や残響、距離減衰の変化 

などを制御することができます。

 

 

まずは、Wwiseをダウンロードし、サンプルプロジェクトで遊んでみましょう。

[↓サンプルプロジェクトWwise Audio Labの紹介記事]

 

blog.audiokinetic.com

[↓製作者の紹介ビデオ]

youtu.be

これをプレイすることで、Wwiseでどんなことができるのか、皆さんが作るゲームの音の表現をどういうふうに向上できるのかがイメージできると思います。

 

また、この記事ではバンナムサウンド部の人がWwiseの社内での活用事例を紹介してくれています。

jp.gamesindustry.biz

 

自分は存在こそ知ってはいたものの、全然使う機会がなくて今まで使っていませんでした、、今丁度勉強しているところで、五月祭ではこれをちょこっと使って作品を作っています。

 

おそらく日本の学生のクリエイターでこのオーディオエンジンを使ってバリバリ制作している人はごく僅かなんじゃないかと思ってます。日本のゲーム会社ですら数年前に導入し始めたというツールですので。(多分ゲーム会社でもビジュアルやプログラムの人たちの浸透率は高くないと思います。実際彼らとサウンドチームの間でゲーム内のイベントのやり取りを担当するサウンドプログラマという職業があるので、、)

 

多分Unityだけでも細かく作り込めばなんだって音の制御をすることができると思いますが、このようなツールを使うことで、コードをたくさん書かなくてもより気軽に音を作り込むことができます。*1

 

この記事をみた皆さんは早速作品にWwiseを導入して、よりよい音環境を作ってみてください!

 

空間音響(VR音響)のワークフロー

こちらはUT-virtual Advent Calender 2018 の19日目の記事として作成したものです。

この記事では、VR音響、空間音響とはどういうものなのかを簡単に説明し参考文献を紹介した上で、VRコンテンツに用いられることの多いAmbisonicsを使った制作の流れを紹介しています。

ボリューム感ある記事ですので、お暇な時にお読みください。

 

はじめに

VRに興味がある人であれば、一度は「VR音響」というものを聞いたことがあるでしょう。例えば、こんなのです。

www.youtube.com

向いた方向によって音が変化しているのがわかると思います。映像だけでなく音も一緒に動くことで、より臨場感の高い体験をすることができます。

おおよそのVRコンテンツでは360°映像を見渡す事ができますが、それを音でもやるのが所謂「VR音響」というものです。

 

VR音響(空間音響)について軽い説明

VR音響」という言葉は俗称で、学術界隈ではSpatial Audio(空間音響)だったりImmersive Audioなどと呼ばれることが多いです。

Spatial Audioは言葉の通り、今まで2つのスピーカーなどで表現していた音響表現を拡張し、前後左右まで音の空間を広げた技術のことを指します。それらの技術はコンテンツの没入感を高めるために使用されることがしばしばあるので、Immersive(没入感のある) Audioとも言われます。

具体的にどんな技術があるかというと、

  • バイノーラル
  • Ambisonics (←上で紹介したYoutubeの動画はこの方式を使ってます)
  • トランスオーラル方式 [伝達関数合成法]
  • 22.2chなどのマルチチャンネル音響 [立体角分割法]
  • 境界音場制御 (BoSCなど)
  • 波面合成法 (Wave Field Synthesis)

などが挙げられます。場合にもよりますが、下に行けば行くほどコストが掛かる再生方式である一方、音空間の再現性は高まる傾向にあります。(再生環境だったり変換方法だったりで再現性が変わるので一概には言えませんが)

 

それぞれがどんな仕組みであるとかは全部説明するととんでもない量になってしまうので、日本語で書かれた参考文献をいくつか紹介したいと思います。 

guides.lib.kyushu-u.ac.jp

www.redbullmusicacademy.jp

この2つはそれほど難しい用語を使わずに空間音響の歴史などについて書かれているので、おすすめです。

surroundterakoya.blogspot.com

サラウンド研究の第一人者であるMickさんが主催してる勉強会のアーカイブ記事です。この記事の他にもサラウンドや空間音響を勉強するのに役立つ情報が載っているので、興味がある人は全部読むことを勧めます。

www.jstage.jst.go.jp

上で紹介した技術の理論を詳しく知りたい人はこれを読みましょう。私は数学や物理は苦手なので、全然理解できてません。

 

書籍だと、

www.coronasha.co.jp

これを読むのがおすすめです。空間音響をちゃんと勉強したいと思ったらこれは読んでおくべきというものです。

 

これもおすすめです。

www.shuwasystem.co.jp

空間音響に特化したものではないですが、初学者にわかりやすく書かれている音響学の本です。

 

また、空間音響を実際にどこで体験できるのかもご紹介しておきたいと思います。

まずバイノーラルやAmbisonicsですが、こちらはYoutubeなどの動画サイトでとても気軽に体験することができます。

www.youtube.com

この動画はすごくクオリティが高いバイノーラルレコーディングがなされたものです。

ヘッドフォンで聞いてるとは思えない空間の広がりを体験できます。

 

またAmbisonicsは変換の方法によっては、たくさんのスピーカーを使い更に臨場感の高い体験をすることも可能です。

ヤマハが誇る立体音響技術「ViReal™(バイリアル)」 | ヤマハミュージックメンバーズ

次にトランスオーラルですが、これは今現在テレビのスピーカーへの導入に向けて研究が進められていますので、今後気楽に体験ができるようになる可能性が高いです。

例えばNHKの研究だとこのような技術が公開されています。

ラインアレースピーカーによる3次元音響再生 | NHK技研公開2017 

22.2chのマルチチャンネル音響は、全国のNHK放送局や放送技術研究所で8Kの映像と共に体験できる設備があり、そこで気軽に体験することができます。(私の大学にも22.2chの制作環境があります。)

NHK放送技術研究所 | 技研ラボ 8Kリビングシアター

そして境界音場制御と波面合成法ですが、これは再生に必要な機材がとてつもなく多いので、気軽に体験することができる場所というのは残念ながらありません。

例えば境界音場制御だと、その再生装置である音響樽が九州大学東京電機大学などにあります。

 

VRコンテンツだったらどうなの

これまで空間音響の技術について紹介してきましたが、 VRコンテンツでこれらを使う時にどうすればいいの?っていう問題が出てきます。

どの技術もHMD*1との相性はとても良いとは思うのですが、スピーカーを使った空間音響技術(22.2chやトランスオーラルなど)は部屋の広さやスピーカーなどにかかるコストの問題から、そもそも気軽に導入することはできず、またそれを制作する環境やツールなどもほとんどないというのが現状です。そのため、スピーカーより気軽に導入できるヘッドフォンを使った空間音響技術がVRコンテンツでは主流となっています。

特にAmbisonicsはある点の全方位の情報を記録できるため、VRコンテンツととても相性が良いものとなっています。

 

この動画はAmbisonicsをどうVRコンテンツで使えば良いかを簡単に説明してくれているので、ぜひ見てください。

www.youtube.com

これはWaves Audioという有名な音楽用プラグインを作ってる会社が制作したビデオです。

 

この動画内で紹介されてたように、Ambisonicsを使った制作方法では実際にマイクロフォンでレコーディングする方法(Aのパターン)とモノラル音源やステレオ音源を組み合わせてAmbisonics(B-format)の形にするもの(Bのパターン)があります。

今回この記事では、この2つのパターンを実際に筆者がどのようにして制作を行っているかを具体例を挙げながら紹介したいと思います。

 

Ambisonicsマイクロフォンを使った制作方法

上で紹介したAのパターンです。これは例えば実際の音楽ライブをVRコンテンツにしたいときだったり、街なかの雑踏や室内の環境音をレコーディングしたいときに選ばれることが多いです。

レコーディングにはもちろんマイクロフォンが必要なりますが、この収録にはAmbisonicsマイクロフォンと呼ばれる特殊なマイクロフォンが必要になります。

例えばこんなのです。

Ambisonicマイクロフォン1

SOUNDFIELD SPS200(写真左)とCore Sound TetraMic(写真右)

Ambisonicマイクロフォン2

ZYLIA ZM-1(写真左)とZOOM H3-VR(写真右)

このようにいろいろな種類があります。

これらマイクロフォンのほとんどは4つの出力があるので、それをレコーダーに差し込んで録音します。(ただし上で紹介したZYLIAはこれに当てはまりません。PCにUSB端子を差し込むだけでOKになってます。)

レコーダーはなるべくAmbisonicsに対応したものを使うと良いです。(例えばTascam DR-701DZOOM F8nなど)

レコーディング時のポイントとしては、

  • マイクロフォンの向きと角度を必ず確認する。(Ambisonicsマイクロフォンを正しく再生するにはこの2つの情報が必要になります。)
  • 4つのマイクロフォン出力を全て同じレベルでレコーディングする。
  • マイクロフォンの高さに気を払う。(高すぎても低すぎても違和感が生じることが多いです。カメラを置く位置にもよりますが、おおよそ120cmから150cmぐらいが良いような気がしてます。今度実験してみようと思っています。)

などと言った点を気をつけながらレコーディングすると良いでしょう。

 

実際に筆者がレコーディングしたものを一つご紹介します。

これは、大学の有志ビックバンドのライブをAmbisonicsマイクロフォン(Sennheiser Ambeio VR Mic)とレコーダー(Tascam DR-701D)を使ってレコーディングしたものです。比較としてZOOMのH2nをMS方式でレコーディングしたものも録ってあります。

f:id:RAInekie:20181218194513j:plain


A: H2nでレコーディングしたもの

B:  Ambisonicsマイクロフォンでレコーディングしたもの

(Bはバイノーラル方式でデコードされているので、どちらともヘッドフォンやイヤホンを使ってお聞きください。) 

 

正直レコーディングされた音の好みは分かれるとは思いますが、Aでは音が頭の中でなっている感覚があるのに対しBは前から音がなっているように聞こえたと思います。またAmbisonicsマイクロフォンでは360°の方向が記録されるので、例えば後ろを向いたときの音の鳴り方というのも表現できるという利点もあります。

 

モノラル音源やステレオ音源を組み合わせてAmbisonics音源を制作する方法

上で紹介したBのパターンです。これは映画やアニメーション、ゲームなどで頻繁に使われる方法です。予めレコーディングしておいた音源を組み合わせ、最終的にAmbisonicsの形にします。

制作に必要なツールは、

です。

DAWApple LogicAvid Protoolsなど多くの種類がありますが、Ambisonicsの編集においては、Cockos Reaperをおすすめします。これは、他のDAWと比べ安価でありながら多くのチャンネルを扱うことができたり、VSTと呼ばれるプラグイン形式を扱えたり、拡張性が高かったりととても自由度が高いDAWとなってます。またAmbisonicsのプラグインはReaperを前提として作られているものも多いです。

AmbisonicsのプラグインWaves B360 Ambisonics EncoderAUDIO EASE 360pan Suite 3といった有料のものや、Facebook 360 Spatial Workstationなど無料のものもあります。ここでは、筆者オススメのIEM Plug-in Suiteをご紹介します。

これはAmbisonicsの研究が盛んなオーストリアグラーツ国立音楽大学で作られたオープンソースプラグインです。非常に高機能ながら、わかりやすい操作画面で簡単にAmbisonicsの編集ができるものとなっています。

このプラグインは発表されてからそこまで日にちが経っていないため、日本語はもちろん英語の記事も少ないのですが、最近こちらに日本語の紹介記事が掲載されたのでご紹介します。この記事を見ると、このプラグインは大体どのようなことができるのかを知ることができます。

 

この記事自体がすごく長くなってしまったので、細かい説明方法などはまた別の機会にしますが、最後に一つこのReaperとIEM Plug-in Suiteを使った例を紹介します。

5chの音源をAmbisonicsに変換しそれをバイノーラルで聞くというときのワークフローです。

まず、 reaper上に音源をドラッグしてきます。(もしくは⌥+ZでMedia Explorerを開き音源を貼り付ける)

f:id:RAInekie:20181219140733p:plain

(画面の見た目は環境によって違う可能性があります。)

次に左側にあるFXボタンを押し、IEMのMultiEncoderを選択します。そして音源が作られた環境のスピーカー配置をプラグイン上で作ります。(ほとんどはITU-R BS.775-1の配置だと思います。)

ここではL(1ch): 30°、 R(2ch): -30°、C(3ch): 0°、LFE(4ch): 0°[この音源はLFEは無音になってます]、Ls(5ch): 110°、Rs(6ch): -110°にしてます。

f:id:RAInekie:20181219140726p:plain

<本当はバスを組んでからプラグインを入れたほうが良いのかもしれません>

これだけで、5.1chからAmbisonicsのB-formatの音源は終了です。あとは左上からノーマライズ方法とAmbisonicsの次元数を選び、⌘+⌥+RでRender(書き出し)をするだけです。

 

またこれをバイノーラルで聞きたい場合は、IEMのBinauralDecoderを選択します。

f:id:RAInekie:20181219140718p:plain

これだけでAmbisonicsのバイノーラル化が終了します。これも⌘+⌥+RでRenderを行えばバイノーラル音源を手に入れることができます。

終わりに

ここまでマイクロフォンを使った場合と、DAWプラグインを使った場合のAmbisonics音源の作り方をざっと紹介してきました。空間音響の紹介からしてしまったため、文量の割には丁寧な説明ができてない記事となってしまいましたが、今後はもっとトピックを限定していろいろなVRに役立つ音の作り方を(Advent Calender外で)紹介していきたいと思います。

もしここをもっと知りたいなどありましたら私までご連絡ください。(ここミスってるとかもコメント下さい、、)

*1:HMD(Head Mounted Display)とは両眼に多いかぶせるように装着して大画面や立体画像などを演出するディスプレイの総称。所謂VRゴーグル