弊社サイトのSearch Consoleを確認したところ、「vrm 生成ai」というワードからたどり着いている方が多く見受けられました。

どうやら「web上でVRMモデルを表示!?」「【生成AI活用】AIに全て任せて3Dモデルを作成しよう」の記事によって、「vrm 生成ai」で検索結果に引っかかるようになってしまったようです。

望まれているであろう「生成AIを使用して」「VRMモデルを生成する」という記事はまだ無かったので、せっかくだから出来るのか試してみましょう！

1.キャラクターのイメージデザインの作成【生成AI-ComfyUI】

今回はComfyUIを使って、FLUX1モデルでイメージを作成してもらいました。

プロンプトは以下で作成しました。

anime character with a fluffy unicorn motif. She has long, messy light purple hair and blue eyes. She wears a fluffy, frilly white and purple outfit and has angelic white wings on her back. The background is a forest with a clear, beautiful lake.

完成した画像はこちら

ユニコーンモチーフなのに角が無い…?

2.3Dモデル生成用にイラストを調整【生成AI-Nano Banana】

上記イラストのままだと3D化する時に不都合が多いです。
背景を削除してT-ポーズに変換してもらいましょう。

このような処理をおこなう場合には、「Google AI Studio」の Nano Bananaを使ってみましょう。

Google AI Studio

画像をアップロードしつつ、プロンプトを追加しましょう。

今回のプロンプトは以下です。(日本語でOK)

この画像のキャラクターをベースに、「tripo3D」という3Dモデル生成サービスで3D化させたいです。
その際、
・背景部分を削除
・キャラクターをTポーズにする
・足の部分まで見えるようにする
必要があるので、画像の調整をお願いします。

生成された画像は以下になります。良い感じですね！

3.3Dモデルの生成【生成AI-Tripo】

ここは前回同様、Tripoを使用させて頂きました。

www.tripo3d.ai
Tripo AI - Create Your First 3D Model with Text and Image in Seconds
https://www.tripo3d.ai
Redefine your approach to 3D content creation with a transformative experience in Tripo AI, the ultimate 3D AI tool for designers, developers, and creatives, offering efficiency, precision, and innovation.


生成されたモデルはポリゴン数を32000程度にしつつ、fbx形式でダウンロードしましょう。

4.fbxモデルをVRMに変換【手動】

この部分だけは生成AIによって対応できる方法が見つかりせんでしたのでblenderを使用して、手動で行います。

4-1.fbxモデルをインポート

Tripoでエクスポートしたfbxファイルをインポートします。
ファイル->インポート->FBXを選択して、出力されたFBXファイルを選択します。

4-2.blenderに「VRM Add-on for Blender」を追加

vrmデータを扱うためには、別途アドオンが必要になるので、
「VRM Add-on for Blender」アドオンをダウンロードします。

vrm-addon-for-blender.info
VRM Add-on for Blender | VRM format / VRM Add-on for Blender
https://vrm-addon-for-blender.info/ja-jp/
VRM Add-on for BlenderはBlenderにVRMのインポート、エクスポートや編集機能を追加するアドオンです。

4-3.VRMモデルを作成

次に、アニメーションを行うためのボーンを追加します。
アドオンインストール後、「VRM」タブが増えているはずなので
「VRM」タブ内の「VRMモデルを作成」ボタンを選択して、ボーンを作成します。

モデルとボーンが重なるように位置調整後、「Ctrl + P」->「自動のウエイトで」を選択。
これでボーンを動かした時に、モデルと連動するようになります。

「アニメーション」タブでボーンを選択->「ポーズモード」を選択してボーンを動かします。
ボーンを動かした時に、モデルも一緒に動いていることを確認しましょう。

4-4.エクスポート

確認出来たら、ファイル->エクスポート->VRMでVRMファイルをエクスポートしましょう。

5.動作確認

動作確認には「3tene」を使用させて頂きました。

3tene - ”3teneはVTuber向けのアプリケーションです。
3tene
https://3tene.com
3teneはVTuber向けのアプリケーションです。現在は3teneFREE、3tenePRO、3tenePRO+Live2Dを提供しております。3tene上でフェイストラッキング、リップシンクによりVRMファイルを動かすことが出来ます。またPRO版ではVRヘッドセットに対応し、全身の制御が可能となりました。

モーションを変更したところ、ちゃんとポーズを変えてくれました！

しかし、残念ながら表情についてはうまく動作しません…

VRoidStudioから出力されたVRMデータをblenderで開くと分かるのですが、
Face部分に色々な調整がされています。

↑VRoidStudioで作成したモデルのFace。表情のモディファイアーなどが設定されている?

今回のAI生成による手順では表情部分に何も設定をおこなっていないため、表情の変更を行う事ができません。
表情変更は非常に重要な部分なので、今回は調査結果としては失敗と言えます。

強引にAI生成した3Dモデルの表情を動かすのであれば、
「顔 + 髪の部分はVRoidStudioで生成したものを移植する」という方法がありますが、
そこまでやるのであれば、全てVRoid Studioで作った方が良い気も…

6.まとめ

・良い感じの人型3Dモデルの作成は可能
・VRM形式で出力して、モーションを動かすことも可能
・表情を設定するのは、そのままでは不可能

という結論となりました。
今後、3Dモデルを良い感じにVRM変換してくれるツールが見つかったら、リベンジしたいです。