Luppet使ってみたレポート!

3DVtuberがゲーム実況をするにあたり、個人勢Vtuberで一般的なVRゴーグルを被る手法は、手元が見えず解像度的に文字などが見づらいです。そこで、「Webカメラ+LeapMotion」の組み合わせで顔と手の動きをキャプチャーできるLuppetを導入しました!
プレイしたのは名作FF10で、一日4時間を10回というがっつり長時間一種の耐久テスト的なスケジュールでプレイしました。

導入編

詳細は見出しの各リンクをご参照ください。

Luppet公式Webサイト

個人ライセンスは5000円ですが、体験版は無料なので実際に使用できるか確認してから購入できます。
ライセンスはBoothにて決済後、メッセージでライセンスキーが送られてきます。
3日以内に送付とありますが、自分は購入後1時間以内に送られてきました!

LeapMotion

国内正規代理店品なら、1万円で購入できます。
自分はもともとVtuber開発用に1台所有していたため、それを使用しました。
1年ぶりに使いましたが微妙にSDKやツールのアップデートが入ってるっぽい?

Webカメラ

お手持ちの廉価なカメラで問題ないと思われます。自分は「Logicool HD Webcam C270」を使用しました。

ネックマウンタ

これ、7月10日に購入して一か月経つのですが、まだ届きません。レビューでも遅れたって話が多いので、安い相応の理由があるのかもしれません。すぐ使いたい人はプライム商品だったら早く届くんじゃないでしょうか。
配信前日に即席で下図のようなマウンタを工作しました。

名刺入れにLeapMotionの両端をセロテープで固定。裏側はスティックのりを下寄りにつけることでセンサーを上向きにしています。かなり雑。

追記:なんとなくセンサーは上向きのほうがいいと思ってのりを取り付けたのですが、下側で動きを付けたり、角度がつくのが気になる方は圧倒的にない方がいいです!!!
自分はいまは外してしまいました;;;


設定編

VRMモデル

ベッラパスタのVRMモデルを使用しました。自作で表情設定に不具合があり、まばたきが認識しませんでした。
デフォルトの忍ちゃんはきちんと動作しています。

表情キー登録

VRMに設定されている4つの表情をキー操作で動かせます。キーボードの[z][x][c][v]に振り分けました。
2人で一体制御ならXboxコントローラに割り振って表情操作してもらうといいんじゃないでしょうか。

LeapMotion設定

設定した位置が手の基準位置になります。現実のポーズと同じになるように設定するのが好ましいですが、図体のデカいモデルだったため、前寄り上めに変更しました。

リップシンク設定

カメラリップシンク・音声リップシンクどちらも精度が高いと思います。ゲームの音を拾って口が動く例もありますが、自分は特に無かったので音声リップシンクを選びました。
注意に記載してありますが、OBSでの音声を0.4秒遅延させて映像とタイミングを合わせました。

キャラ詳細設定

肩は女性モデル使用が多いためかデフォルトで補正が入ってますが、自分は男性モデルなので補正無しに変更して丁度よかったです。ここはマイナスに振り切れれば良いなって思いました。

LeapMotion倍率設定

デフォルトだと手がちょこんとした動きになるので縦横1.8倍にしました。自分が出来るkawaiiムーブと要相談です。

その他

人によってはすぐ気づけないかもしれないですが、モデルを全画面にするにはEscキーです(キーボード左上)。


配信編

セッティング

カメラは顔に対して正面に設置し、動かないように固定しましょう。動くと当然トラッキングが飛びます。
カメラが認識しやすいように適度な光量に部屋の照明を調節します。

身繕い

この手のコンピュータ界隈の方は恐らく前髪を伸ばしていたり、眼鏡をかけてる方が多いと思いますが、ヘアピンヘアゴムで前髪をあげた状態にした方が認識しやすいです。自分は上縁のみの眼鏡ですが、まばたきはきちんと認識しました。

表情操作

キーボードで手を操作すると、LeapMotionの認識範囲だと当然動きを拾います。今回はゲーム実況でコントローラを握りながらでしたからそれほど気になりませんでしたが、気になる方はマウンタの角度を上向きにして顔前でふよふよ手を動かした方が良いかもしれません。

手の動かし方

機材的にやはり手のトラッキング範囲には限界があります。パーは形がはっきりするため良く拾えますが、ピースのような形はよく三本指に間違えられます。傾向と対策を下にまとめます。
・センサーに近いと角度的に外れ、遠いと解像度的に外れる(丁度良いスポットがあります)。
・センサーに対し垂直でないと指が認識されない(手首を胸側に曲げると良い)。
・スピードが速いと外れる(認識しにくいポーズで速く動かさないほうがよい)。

発熱について

LeapMotionで気になるのは本体の発熱です。数十分使用すると熱くなり精度や故障が心配になりますが、自分が使う限りそれほど問題は発生しなかったと思われます。
2時間使用→10分休憩(USBから外しガラステーブルに密着させ放熱)→2時間使用
という1セットを2週間で10回行いましたが、配信中に使えなくなることはありませんでした。
2時間以上激しく動きまくるような用途ではどうなるかは分かりませんが、発熱は仕様でありトラッキングにそれほど影響は出ないのではないかと思います。


以上レポートになります。
作者さんのねぎぽよ氏の熱意ある開発により今後もどんどん機能が増えていくのではないでしょうか。あなたが「Vroidモデル+Luppet」Vtuberだったら、1年前のVtuber創成期にタイムスリップしたら間違いなく目を引く存在になっているでしょうし、今であっても、Vtuberをあまり知らない視聴者さんであればレベルの高いVtuberさんだと錯覚させることができるかもしれません。ご検討の材料にしていただければ幸いです!

コメントする

メールアドレスが公開されることはありません。