こんにちは、rightgo09です。
開発部 Beer Bash
ユニファ開発部では、毎月末に「開発部 Beer Bash」という自由LT会を行っています。過去には他社と合同で開催したこともありました。
ここ半年ほどは私はエンタメ枠（自称）で参加しています。
このエントリーでは前回の発表を紹介します。
発表中の様子
何をしたか
VRヘッドセットとツールを使って、3Dキャラクタが発表をする、という発表です。すでに３回目です。
発表自体がコンテンツとなっている側面があるため、発表自体の内容は通常よりも薄めになっています。
ちなみに、LT発表の日は自宅勤務を選択しており、以下の内容は自前の機材で行っています。
なぜしたか
面白そうだったからです。
どのようにしたか
以下の図のような構成をとりました。
映像出力
OBS
Open Broadcaster Software | ホーム
OBSは、YouTube Live や Twitch などライブ配信するときによく使われるフリーソフトウェアです。
ウィンドウのキャプチャ、エフェクト追加などをしながら、映像をストリーミング配信することができます。
OBS-VirtualCam
OBS-VirtualCam | Open Broadcaster Software
今回はもうひとつこちらのプラグインを使用しました。
ユニファではビデオ通話に Zoom を使っていますが、OBS単体では Zoom と連携することができません。
こちらのプラグインを使うと、OBSの出力映像が仮想のWebカメラとしてPCに認識されるので、Zoomのカメラで「OBS-Camera」を選択すれば、OBSの状態がZoomに流れるようになります。
VRヘッドセット
VIVE™ 日本 | 想像を超えたバーチャルリアリティの体験
HTC VIVE を使いました。
Oculus Rift や Windows MR と比べて、設置と設定の難易度が高いですが、その分トラッキングの性能が良いようです。（これしか持ってないので実体験ではありませんが）
Virtual Cast
今回のメインとなったソフトウェアです。VRヘッドセットを使い、VR空間で3Dとなって色々なことができます。（すごい）
最初から用意されている3Dモデルに加えて、上記の「ニコニ立体」「第三者使用可能モデル」から追加することもできます。
「結月ゆかりVer7VRM」 / お宮 さんの作品 - ニコニ立体
今回のLTではこちらのモデルをお借りしました。ありがとうございます。
ヘッドマウントディスプレイをかぶってVR空間に入ります。
VR空間内にPCのデスクトップを表示させ、小さいマウスポインタを操作することで、ワンオペでの発表が可能です。
背景
前述の画像は、いかにも現実世界に3Dモデルが存在するARのような映像のスクリーンショットでしたが、実際には部屋の写真を撮って、静止画として敷いているだけです。
Virtual Cast上の画面背景を緑色に設定し、OBSでクロマキー合成しています。
ただ、VR空間において、見える世界が緑一色だとめちゃくちゃ目が辛いので、これは今後の課題です。
資料
PDFをPC上で表示して、OBSで映像合成するだけです。
あらかじめPCのデスクトップ上のウィンドウをどのように配置していたかを覚えておかないと、思ったとおりの操作が難しいかもしれません。
音声出力
恋声
シンプルなボイスチェンジャです。
とても簡単に使用できますが、「音声遅延：小」を設定しても実際に出力される音声は約0.4秒の遅延が発生するため、リップシンク（口パク）のズレが意外とわかりやすく露見してしまいました。
仮想オーディオデバイスをインストールしておき、恋声の音声出力先を仮想オーディオデバイスにして、Virtual Castと同時に起動するSteam VRのマイクにその仮想オーディオデバイスを設定することで、恋声の音声に応じてリップシンクが動きます。
（最近のVirtual Castのアップデートで、Steam VRではなく、Virtual Cast自体に使用するマイクを選択できるようになったようです）
また、仮想オーディオデバイスのプロパティから「サウンド」「このデバイスを聴く」をONにしておくことで、自分自身も変声後の音声を聞くことができますが、遅れて声が聞こえてくる状態はとても喋りにくいため、タイミングをとるためと割り切り音を小さくしておくなどの工夫が必要です。
余談（音声認識＋音声合成方式）
半年ほど前に、自作Unity＋ゆかりねっと＋VOICEROIDという組み合わせを試しました。処理の順序としては、
文章発声 → 音声認識 → 音声合成
というプロセスを踏むことになります。
LTとは言いつつも、私の発表は一方通行ではなく基本的に対話形式で進行するため、遅延の少ないボイスチェンジャ方式に切り替えました。
逆にこの方式のメリットとしては、話す内容をリアルタイムに字幕で表示できるので、聞き取れないような文章も読んで理解してもらうことが可能です。
一般的なLTのような一方通行の発表であれば、この方式でも問題ないかもしれません。
その他のスクリーンショット（別の回も含む）
感想
既存のソフトやツールを使用、連携させるだけで、個人でこんなことができる時代なのだなというのが単純にすごいなと感じました。
同時に、使用させていただいたソフトやツールやモデルの製作者の方たちにはとても感謝しています。
やってみた感想
人間の適応する力を感じます。
VR空間での普段と異なる姿に最初は違和感を覚えますが、鏡を見ているうちに慣れていることに気が付きます。そこで初めて、「あ、なんか面白いな」と思えます。
この感覚は実際に体験してみなければわからないかもしれません。発表してる本人が一番楽しい、というのはなかなかいままでの私の発表体験にもなかった気持ちです。
本人ほどではないにしろ、開発部Beer Bashに参加している方の方も次第に慣れてくる（はず）ので、あとで資料と録画を見るだけよりもライブ感があって面白いのではないかと思います。
ただひとつ注意として、完全に内容がネタっぽくなるため、このような内容が受け入れられる状況かどうか、あらかじめ事前に確認しておくのが良さそうです。
以上です。
