論文の概要: Video Diffusion Avatars: Taming Video Diffusion Models into Controllable 3D Avatars

• arxiv url: http://arxiv.org/abs/2610.23772v1
• Date: Fri, 16 Oct 2026 17:08:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.032187
• Title: Video Diffusion Avatars: Taming Video Diffusion Models into Controllable 3D Avatars
• Title（参考訳）: ビデオ拡散アバター:制御可能な3Dアバターにビデオ拡散モデルを適用する
• Abstract要約: インターネット規模のデータに基づいてトレーニングされたビデオ拡散モデル(VDM)は、外観、動き、物理に先立ってリッチなコードをエンコードする。 本稿では,ビデオ拡散アバター (VDA) について紹介する。
• 参考スコア（独自算出の注目度）: 48.80951099813609
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video diffusion models (VDMs) trained on internet-scale data encode a rich prior on appearance, motion, and physics that is difficult to replicate with explicit 3D rendering and costly 3D data capture. We introduce Video Diffusion Avatars (VDAs), a method that creates photo-realistic, multi-view consistent avatars from a single image by fine-tuning a VDM for precise control over camera viewpoint, facial expression, and upper-body pose. Departing from 3D morphable models (3DMMs), VDAs use a learned expression space that lifts the expressiveness ceiling of 3DMMs, e.g., for the tongue and mouth interior. However, learned expression codes exhibit heavy viewpoint bias, as our DISTRACT benchmark reveals. We show that this bias can be removed through disentanglement, enabling their use as driving signals for multi-view consistent avatars. Camera and upper-body pose are controlled jointly via proxy-mesh renderings, giving independent control over expression, pose, and viewpoint. A camera-triplet training strategy makes the approach efficient: our models train for 34 hours on a single A100 using only public multi-view data. VDAs outperform state-of-the-art single-image 3D avatars on novel-view reenactment, reducing face LPIPS by 29% and improving perceptual quality (JOD) by 66% on BecomingLit. A static 3DGS reconstruction probe further confirms that our generations are the most multi-view consistent. Built on a video prior, VDAs produce effects beyond the reach of explicit renderers, including physically plausible hair dynamics, shadows, reflections, and refractions.
• Abstract（参考訳）: インターネット規模のデータに基づいてトレーニングされたビデオ拡散モデル(VDM)は、外見、動き、物理に先立ってリッチな情報を符号化し、明示的な3Dレンダリングと高価な3Dデータキャプチャで再現することが困難である。 ビデオ拡散アバター(VDA)は、カメラ視点、表情、上半身ポーズを正確に制御するためのVDMを微調整することにより、単一の画像から写真リアルで多視点一貫したアバターを作成する方法である。 3Dフォーマブルモデル(3DMM)とは別に、VDAは学習された表現空間を使用して、3DMMの表現性天井を持ち上げる。 しかし、我々のDISTRACTベンチマークが示すように、学習された表現符号は視点バイアスが大きい。 このバイアスは乱れによって取り除くことができ、多視点一貫したアバターの駆動信号として使用できることを示す。 カメラと上半身のポーズは、プロキシ・メッシュレンダリングを通じて共同で制御され、表現、ポーズ、視点を独立に制御する。 私たちのモデルは、パブリックなマルチビューデータのみを使用して、1つのA100で34時間トレーニングします。 VDAは、ノベルビューの再現において最先端のシングルイメージ3Dアバターより優れ、顔LPIPSは29%減少し、BecomingLitでは66%改善した。 静的な3DGS再構成プローブは、我々の世代が最も多視点で一致していることを確認する。 VDAは以前のビデオに基づいて構築され、物理的に可塑性な毛髪のダイナミックス、影、反射、屈折など、明示的なレンダラーの範囲を超えて効果を生み出す。

関連論文リスト

• AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors [58.22950708041041]
  AHOYは,眼球内モノクローナルビデオから完全でアニマタブルな3Dガウスアバターを再構成する手法である。 我々は,これまで観測されていなかった身体領域の密集的な監視を実現するために,個人識別拡散モデルを用いた幻覚・超越パイプラインを開発した。 得られたアバターは、新しいポーズでアニメーションできるほど頑丈で、3DGSのシーンに合成され、携帯電話のビデオで撮影される。
  論文  参考訳（メタデータ） (2026-03-18T17:39:05Z)
• FlexAvatar: Learning Complete 3D Head Avatars with Partial Supervision [54.69512425050288]
  1枚の画像から高品質で完全な3Dヘッドアバターを作成するFlexAvatarを紹介する。 トレーニング手順はスムーズな遅延アバター空間を生じ,任意の数の入力観測に適合する恒等性とフレキシブルな適合性を実現する。
  論文  参考訳（メタデータ） (2025-12-17T17:09:52Z)
• MVP4D: Multi-View Portrait Video Diffusion for Animatable 4D Avatars [18.907017120867827]
  我々は、単一の参照画像とターゲット表現に基づいて、デジタル人間のアニマタブルなマルチビュービデオを生成するビデオモデルを構築した。 MVP4Dは、最先端の訓練済みビデオ拡散モデルに基づいており、対象物体の周囲に最大360度まで変化する視点から数百フレームを同時に生成する。
  論文  参考訳（メタデータ） (2025-10-14T17:56:14Z)
• Avat3r: Large Animatable Gaussian Reconstruction Model for High-fidelity 3D Head Avatars [60.0866477932976]
  少数の入力画像から高品質でアニマタブルな3Dヘッドアバターを復元するAvat3rを提案する。 大規模なリコンストラクションモデルをアニマタブルにし、大規模なマルチビュービデオデータセットから3次元以上の人間の頭部を強力に学習する。 トレーニング中に異なる表現の入力イメージをモデルに供給することでロバスト性を高め,不整合入力からの3次元頭部アバターの再構成を可能にする。
  論文  参考訳（メタデータ） (2025-02-27T16:00:11Z)
• DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
  顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
  論文  参考訳（メタデータ） (2024-08-20T06:52:03Z)
• High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
  3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。 既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。 本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
  論文  参考訳（メタデータ） (2021-03-29T18:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。