OVRLipSync(Oculus Lipsync Unity)を使って音声に合わせて口の動かす(リップシンクさせる)【Unity】
Oculusリップシンクは、 WindowsまたはmacOSでアバターの唇の動きを話し声や笑い声に同期させるために使用できるUnityプラグイン を提供します。Oculusリップシンクは、マイク入力やオーディオファイルからのオーディオインプットストリームを分析し、特定の音声に対応する唇の動きや顔の表情を示す一連の値(口形素と呼ばれる)を予測します。口形素は特定の音声に対応する視覚的な唇の動きや顔の表情を示すものであり、音素が音を表す方法と類似しています。口形素という用語は、読唇を説明するときに使用され、明瞭度の基本的な視覚的単位です。コンピューターアニメーションでは、 口形素を使って、アバターが話しているようにアニメーションを付けることができます。
リップシンクの実装まず適当なオブジェクトを作成し、 OVR Lip Sync というコンポーネントAddします。
次に 声を鳴らしたい位置にオブジェクトを作成 し(今回はMouth)、
そこに OVR Lip Sync ContextとOVR Lip Sync Context Morph TargetをAdd します。
なお、その時 自動でAudio SourceもAdd されます。
そして OVR Lip Sync Context Morph Targetに顔のSkinned Mesh Rendererを設定 します。
顔のSkinned Mesh Rendererが分からない場合 は、
後は OVRLipSyncContextMorphTargetのViseme To Blend Targetsで 対応する表情を設定 するだけです。
必要なシェイプキー一覧 VRC.v_sil ：真顔 VRC.v_PP ：Mをネイティブっぽく発音したエンムのム「にやり」か「ω」が近い VRC.v_aa ：「あ」 #最初に作る VRC.v_oh ：「お」か「う」下記より口を広げている方 #aaの横を圧縮 VRC.v_ou ：「お」か「う」上記より口をすぼめている方 #ohの横を圧縮 VRC.v_ih ：「あ2」ないし「あ3」それらがない場合「あ」か「□」のモーフを複製し適用 #aaの50% VRC.v_TH ：「ih」に近いので複製 #ihをコピー VRC.v_nn ：「ん」ないし「ih」か「dd」のモーフを複製 #ihの舌を持ち上げる VRC.v_DD ：控えめな「え」 #nnを少し下あごを閉じる VRC.v_kk ：「ih」と同じで口元が気持ち上がる感じ「ワ」も範囲に入る #ihの舌と上唇を上げる VRC.v_FF ：英語的なふの発音「□」が近い #aaの20%ぐらい 下唇を軽く噛む VRC.v_E ：「え」 #いの口 VRC.v_CH ：「ss」よりも口をすぼめた「い」 #eの横を圧縮 VRC.v_RR ：「□」が近いので「ff」を複製 #chの下あごを広げる VRC.v_SS ：「ch」よりも口を広げた「い」「ch」を複製しても良いかも #eの上唇をまっすぐ閉じる
設定はこれで完了なのですが、 一部プログラムの修正が必要 になります。
まず OVR Lip Sync Context Morph TargetにあるUpdateをLateUpdateに変更 します。
OVR Lip Sync Context Morph TargetのSetVisemeToMorphTargetで
あとは 自動で付いたAudioSourceを使って声を鳴らせば、それに合わせて口が動くように なります。
参考 はじめに Oculus Questの公式ストアはあの狼と香辛料のVRゲーム… はじめに 今回は4月3日にSteamでリリースした「札束風呂VR」の … この記事でのバージョン Unity 2017.4.7f1 はじめに Oculus Go…独立済みのゲームクリエイター&プログラマー PC、スマホ、Switch、VR、UEFN、何のゲームでも作る個人開発者。 ふんどしパレード株式会社にもいます。
AudioManager ▶UnityでBGMやSEを簡単に再生 ▶無料 ▶解説記事 AIE2D ▶Unityで2Dの残像を簡単に実装 ▶無料 ▶解説記事▶2人対戦のデッキ構築ゲーム ▶スマホとPC両対応 ▶Unity製 猫ヤクザの仁義にゃき戦い
▶実写猫のPvPカードゲーム ▶スマホとPC両対応 ▶Unity製 SLASH OF BULLET
▶斬撃を飛ばすVRゲーム ▶Unity製 Picontier
Nintendo Switch SPに関する工夫の話 ▶アーケードライクアクション ▶累計25万DL突破 ▶eShop瞬間最高 : 日本1位 ▶eShop瞬間最高 : US2位 ▶2017年全世界Nindies Top10 ▶Unity製 1-Bit Rogue
▶白黒のローグライクゲーム ▶Appleに15回以上フィーチャー ▶Unity製 それでも僕らは曲がらない
▶本格派ローグライクゲーム ▶cocos2d製 箱庭RPG2