最初に
この記事はBeat Saber Advent Calendar 2022の18日目の記事となります。
MR合成とは
MRとは複合現実の事で現実世界の実写映像とVR空間内の映像を合成することによって、プレイヤーがVR空間内にいるかのような映像をつくります。先に完成品を見ていただいた方がイメージがつきやすいと思います。
こういった感じのゲーム内に入り込んだ映像を作ることができます。
PC VRでMR（LIV）
必要なもの
PC VRができる環境（Quest2のリンク等でもOK）
カメラについて
WEBカメラかカメラ+キャプチャーボードを用意します。どちらでもOKですがとりあえず手持ちであるなら手持ちで始めるのをおすすめします。
WEBカメラ
- メリット
- 安価で用意可能
- デメリット
- 画質はそこそこ
- お勧めのカメラ
- 新規にWEBカメラを用意する場合は画角とFPSに注意をして選んでください。FHDかつ60FPSで広角となると案外選択肢は少なくなります。
カメラ+キャプチャーボード
新規に用意して満足できるレベルとなると最低でも10万円～の費用が掛かります。手持ちで機材がある場合はそれを流用できますので流用していきましょう。
- メリット
- 画質が良く遅延が少ない
- デメリット
- 導入コストが高い
撮影スペースの作り方
配置について
私の撮影スペースはそこまで広くありません。現在の撮影スペースは3500mm×1800ｍｍのスペースです。ただし出来るだけホームポジションとカメラは距離を取ってください。
グリーンバックについて
必須ではありませんが使うときれいに切り抜くことができます。使わない場合は説明文のKEYINGでAI Keyingをオンにしてください。
基本的にグリーンバックが必要となります。とはいっても難しく考える必要はありません。例えばカーテンレールにクリップで止めたり壁に画びょうでとめたり養生テープで張り付けるだけでもOKです。また衝立形式でもOK。ただグリーンバックの広さで動ける範囲が変わります。3m幅程度のものを買って大きければ折って使うのが個人的にはお勧めです。また突っ張り棒に固定しても構いません。
LIV
LIVの設定
最初にSteamを立ち上げてLIVを起動します。そうするとこのような画面が立ち上がるのでMixed Reality Captureを選びます。
START PCVR MIXED REALITY CAPTYREを選択してMR用のツールを起動します。
このような感じでLIVの設定用のウインドウと合成結果の表示用の画面が開きます。ここからはLIVの設定画面を使っていきます。設定画面のCAMERAをクリック。
初めて起動する場合はAddかNewCameraの設定を変更していきます。どちらでもOKですが今回はAddで設定していきます。
カメラの設定をしていきます。TypeをVideo Camera、DeviceをWEBカメラ又はキャプチャーボードを選択し、Resolutiorで設定したい解像度とFPSを選択します。※おそらくどれでも動きますが公式はYUY2形式を推奨しています。最後にプロファイル名を付けて一度保存しておきます。この段階で左の出力画面にはWEBカメラの映像が映っているはずです。
SAVEすると一度閉じるので再度先ほど保存したプロファイルを開きます。
CALIBRATIONからBEGIN CALIBRATIONを開きます。
どちらでもOKですがFROM HEADSETの方はやりやすいので選びます。
HMDを被り画面内のBEGIN CALIBRATIONを選びます。※ここからはHMD内がオーバーレイでキャプチャー出来ないため一部文章のみの説明が出てきます。
選ぶとカメラのレンズ位置に十字マークが出ますのでコントローラーを合わせてトリガーを引いていきます。近いと3枚目のように赤字で出ますがずれ易いだけなので後で調整すれば問題ありません。というか部屋を広くはできないためどうしようもありません。
- VIVEコントローラー 〇の中心を十字の中心に合わせます。
- Rift および Index Controllerはトリガーボタンの中心を十字の中心に合わせます。
もしずれが大きい場合（概ねコントローラー1個分以上）の場合はキャリブレーションをやり直してください。問題なければ最初に腕を上下に振りながら遅延を調整してみてください。振っているのとコントローラーの動きが同じになればOKです。次に腕を両端に伸ばした状態でリアルとLIVのコントローラーの幅が合う様にFOVを調整してみてください。FOVを小さくすれば広がり大きくすれば狭まります。
次に上下左右を合うように微調整します。
キャリブレーションが終われば終了してHMDを外します。
次にKEYINGでグリーンバックの切り抜きの閾値を調整します。切り抜きたいところが黒く、切り抜きたくないところが切り抜かれないように調整します。ThresholdとSmoothnessの2つの調整だけで行けると思います。
続いてCROP＆FLIPで不要な部分を映らないようにします。グリーンバックを使用しない場合はKEYINGでAI Keyingをオンにしてください。
SAVEして戻りCAPTUREよりキャプチャーしたいゲームを選びSYNC＆LUNCHを選びます。
これで合成完了です。LIV outputの画面をOBS等で録画すれば完了です。※音声のずれが気になる場合があります。その際はＯＢＳで音声遅延を入れて下さい。
応用編
画面を広く見せたい場合はADVANCEDのZoomを調整してからキャリブレーションを行ってください。ただし全身が映っている状態で行わないと違和感が残ります。また広角を使用して画面端の歪がひどい場合はDistorationで調整できます。（なるべく使わずに機器側でなんとかするのを推奨）
対応ソフトウェア一覧
対応ソフトウェアに関しては下記のページより確認ください。LIVがSteam用なのですべてSteam版です。
