論文の概要: MegaAvatar: Controllable Talking Avatar Generation

• arxiv url: http://arxiv.org/abs/2609.39273v1
• Date: Wed, 30 Sep 2026 08:25:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.437991
• Title: MegaAvatar: Controllable Talking Avatar Generation
• Title（参考訳）: MegaAvatar:制御可能な会話アバター生成
• Abstract要約: MegaAvatar(メガアバター)は、Wan2.2-TI2V-5Bモデル上に開発された制御可能な音声アバター生成フレームワークである。 SMPL-X由来の3Dガイドを新たに導入し,身体のポーズや頭部の動きのグローバルな制御を可能にした。 実験により,MegaAvatarは,制御可能な体と頭部の動き,発話同期表情,一貫したアイデンティティ保存により,高品質な音声アバター生成を実現することが示された。
• 参考スコア（独自算出の注目度）: 27.650526271346646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This report presents \textbf{MegaAvatar}, a controllable talking avatar generation framework built on top of the Wan2.2-TI2V-5B model. Compared with previous talking-avatar methods that mainly rely on audio or reference-image conditioning, we introduce additional SMPL-X-derived 3D guidance, enabling global control over body pose and head motion. Specifically, we render the driving SMPL-X sequence into dense mesh frames and encode them with a lightweight 3D convolutional encoder, whose outputs are injected into the latent tokens to provide overall motion control. Furthermore, we extend Wan2.2-TI2V-5B with additional audio and face cross-attention modules to enable fine-grained expression control and preserve the input identity, respectively. In addition, we implement an audio-to-SMPL-X model to predict an SMPL-X sequence conditioned on the reference image and input audio, allowing MegaAvatar to support audio-driven inference without user-provided SMPL-X frames. Experiments show that MegaAvatar achieves high-quality talking avatar generation with controllable body and head motion, speech-synchronized facial expressions, and consistent identity preservation. MegaAvatar also supports inference with flexible resolutions and video lengths. Codes, dataset, models will be avaliable in https://github.com/Jeoyal/MegaAvatar
• Abstract（参考訳）: 本稿では Wan2.2-TI2V-5B モデル上に構築された制御可能な音声アバター生成フレームワークである \textbf{MegaAvatar} について述べる。 音声や参照画像のコンディショニングに大きく依存する従来の会話・アバター手法と比較して, SMPL-X由来の3Dガイダンスを導入し, 身体のポーズや頭部の動きのグローバルな制御を可能にした。 具体的には、SMPL-Xを高密度メッシュフレームに描画し、それらを軽量な3D畳み込みエンコーダで符号化する。 さらに、Wan2.2-TI2V-5Bを拡張し、音声と顔のクロスアテンションモジュールを追加して、粒度の細かい表現制御と入力IDの保存を実現した。 さらに、参照画像と入力音声に条件付きSMPL-Xシーケンスを予測するために、SMPL-Xモデルを実装し、ユーザが提供するSMPL-Xフレームを使わずに、MegaAvatarが音声駆動推論をサポートできるようにする。 実験により,MegaAvatarは,制御可能な体と頭部の動き,発話同期表情,一貫したアイデンティティ保存により,高品質な音声アバター生成を実現することが示された。 MegaAvatarはフレキシブルな解像度とビデオの長さで推論もサポートしている。 コード、データセット、モデルはhttps://github.com/Jeoyal/MegaAvatarで無効になる

関連論文リスト

• S-Avatar: Diffusion-Guided Gaussian Head Avatars from a Single Image [11.54723548495768]
  S-アバター(S-Avatar)は、単一の画像から3Dヘッドアバターを生成する新しい方法である。 提案手法は, 3次元の整合性を高め, 効率的かつ高精度な再構成を実現する。 幅広いVR/ARアプリケーションに適用できる。
  論文  参考訳（メタデータ） (2026-07-30T13:04:03Z)
• JoyAvatar: Unlocking Highly Expressive Avatars via Harmonized Text-Audio Conditioning [18.72712280434528]
  JoyAvatarは長時間のアバタービデオを生成することができるフレームワークである。 そこで本研究では,モデルに固有のテキスト制御性を持たせるための,ツイン教師強化トレーニングアルゴリズムを提案する。 トレーニング中、マルチモーダル条件の強度を動的に調整する。
  論文  参考訳（メタデータ） (2026-01-31T13:00:57Z)
• MANGO:Natural Multi-speaker 3D Talking Head Generation via 2D-Lifted Enhancement [26.32210658603041]
  既存の3D会話アバターアプローチは、きめ細かい顔のダイナミクスを捉えるのに失敗した、エラーを起こしやすい擬似3Dラベルに依存している。 擬似3Dラベルがもたらすノイズを軽減するために、交互にトレーニングすることで、純粋な画像レベルの監視を活用する新しい2段階フレームワークMANGOを提案する。 本手法は,2人の対話動作をモデル化する際の例外的精度と現実性を実現し,音声駆動音声ヘッドの忠実度と制御性を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-01-05T02:59:49Z)
• FlexAvatar: Learning Complete 3D Head Avatars with Partial Supervision [54.69512425050288]
  1枚の画像から高品質で完全な3Dヘッドアバターを作成するFlexAvatarを紹介する。 トレーニング手順はスムーズな遅延アバター空間を生じ,任意の数の入力観測に適合する恒等性とフレキシブルな適合性を実現する。
  論文  参考訳（メタデータ） (2025-12-17T17:09:52Z)
• TALK-Act: Enhance Textural-Awareness for 2D Speaking Avatar Reenactment with Diffusion Model [100.35665852159785]
  本研究では,SpeaKing Avatar Reenactment (TALK-Act) フレームワークのためのMotion-Enhanced Textural-Aware ModeLingを提案する。 我々のキーとなる考え方は、拡散モデルにおける明示的な動き誘導によるテクスチャ認知を高めることである。 本モデルは,30秒の個人データのみを用いて,高忠実度2次元アバター再現を実現する。
  論文  参考訳（メタデータ） (2024-10-14T16:38:10Z)
• AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
  AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。 我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。 本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-16T14:18:51Z)
• DAE-Talker: High Fidelity Speech-Driven Talking Face Generation with Diffusion Autoencoder [55.58582254514431]
  そこで本研究では,DAE-Talkerを用いて全映像フレームを合成し,音声の内容に合わせて自然な頭部の動きを生成する。 また、ポーズ制御性のための音声2latentのポーズモデリングも導入する。 実験の結果,DAE-Talkerはリップシンク,ビデオの忠実さ,自然さなどの既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-03-30T17:18:31Z)
• OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane Rendering [81.55960827071661]
  制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。 汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T09:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。