論文の概要: MVP4D: Multi-View Portrait Video Diffusion for Animatable 4D Avatars
- arxiv url: http://arxiv.org/abs/2510.12785v1
- Date: Tue, 14 Oct 2025 17:56:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-15 19:02:32.436672
- Title: MVP4D: Multi-View Portrait Video Diffusion for Animatable 4D Avatars
- Title（参考訳）: MVP4D:アニマブルな4Dアバターのためのマルチビューポートレートビデオ拡散
- Authors: Felix Taubner, Ruihang Zhang, Mathieu Tuli, Sherwin Bahmani, David B. Lindell,
- Abstract要約: 我々は、単一の参照画像とターゲット表現に基づいて、デジタル人間のアニマタブルなマルチビュービデオを生成するビデオモデルを構築した。
MVP4Dは、最先端の訓練済みビデオ拡散モデルに基づいており、対象物体の周囲に最大360度まで変化する視点から数百フレームを同時に生成する。
- 参考スコア（独自算出の注目度）: 18.907017120867827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Digital human avatars aim to simulate the dynamic appearance of humans in virtual environments, enabling immersive experiences across gaming, film, virtual reality, and more. However, the conventional process for creating and animating photorealistic human avatars is expensive and time-consuming, requiring large camera capture rigs and significant manual effort from professional 3D artists. With the advent of capable image and video generation models, recent methods enable automatic rendering of realistic animated avatars from a single casually captured reference image of a target subject. While these techniques significantly lower barriers to avatar creation and offer compelling realism, they lack constraints provided by multi-view information or an explicit 3D representation. So, image quality and realism degrade when rendered from viewpoints that deviate strongly from the reference image. Here, we build a video model that generates animatable multi-view videos of digital humans based on a single reference image and target expressions. Our model, MVP4D, is based on a state-of-the-art pre-trained video diffusion model and generates hundreds of frames simultaneously from viewpoints varying by up to 360 degrees around a target subject. We show how to distill the outputs of this model into a 4D avatar that can be rendered in real-time. Our approach significantly improves the realism, temporal consistency, and 3D consistency of generated avatars compared to previous methods.
- Abstract（参考訳）: デジタル人間アバターは、仮想環境における人間のダイナミックな外観をシミュレートすることを目的としており、ゲーム、映画、バーチャルリアリティーなどの没入的な体験を可能にしている。
しかし、フォトリアリスティックな人間のアバターを制作・アニメーションする従来のプロセスは高価で時間を要するため、大きなカメラキャプチャ・リグとプロの3Dアーティストによる手作業が必要とされる。
能動画像および映像生成モデルの出現により、近年の手法は、ターゲット対象のカジュアルにキャプチャされた単一の参照画像から、リアルなアニメーションアバターの自動レンダリングを可能にする。
これらの技術はアバター生成の障壁を大幅に減らし、魅力的なリアリズムを提供するが、多視点情報や明示的な3D表現による制約は欠如している。
したがって、基準画像から大きく逸脱する視点から見ると、画質とリアリズムは低下する。
そこで我々は,単一の参照画像とターゲット表現に基づいて,デジタル人間のアニマタブルなマルチビュー映像を生成するビデオモデルを構築した。
MVP4Dは、最先端の訓練済みビデオ拡散モデルに基づいており、対象物体の周囲に最大360度まで変化する視点から数百フレームを同時に生成する。
このモデルの出力を,リアルタイムにレンダリング可能な4次元アバターに蒸留する方法を示す。
提案手法は, 生成したアバターのリアリズム, 時間的整合性, および3次元整合性を大幅に改善する。
関連論文リスト
- EVA: Expressive Virtual Avatars from Multi-view Videos [51.33851869426057]
本稿では,アクター固有の,完全に制御可能な,表現力のある人間のアバターフレームワークであるExpressive Virtual Avatars (EVA)を紹介する。
EVAは、表情、身体の動き、手の動きの独立的な制御を可能にしながら、高忠実でライフライクなレンダリングをリアルタイムで実現している。
この研究は、完全に乾燥可能なデジタル人間モデルに向けた大きな進歩を示している。
論文 参考訳（メタデータ） (2025-05-21T11:22:52Z) - Vid2Avatar-Pro: Authentic Avatar from Videos in the Wild via Universal Prior [31.780579293685797]
Vid2Avatar-Proは、モノクラーインザミルドビデオから、フォトリアリスティックでアニマタブルな3Dアバターを作成する方法である。
論文 参考訳（メタデータ） (2025-03-03T14:45:35Z) - Avat3r: Large Animatable Gaussian Reconstruction Model for High-fidelity 3D Head Avatars [60.0866477932976]
少数の入力画像から高品質でアニマタブルな3Dヘッドアバターを復元するAvat3rを提案する。
大規模なリコンストラクションモデルをアニマタブルにし、大規模なマルチビュービデオデータセットから3次元以上の人間の頭部を強力に学習する。
トレーニング中に異なる表現の入力イメージをモデルに供給することでロバスト性を高め,不整合入力からの3次元頭部アバターの再構成を可能にする。
論文 参考訳（メタデータ） (2025-02-27T16:00:11Z) - CAP4D: Creating Animatable 4D Portrait Avatars with Morphable Multi-View Diffusion Models [9.622857933809067]
CAP4Dは、様々な参照画像からフォトリアルな4Dポートレートアバターを再構成するために、変形可能な多視点拡散モデルを用いるアプローチである。
提案手法は, 単一像, 少数像, 複数像の4Dポートレートアバター再構成における最先端性能を示す。
論文 参考訳（メタデータ） (2024-12-16T18:58:51Z) - AniGS: Animatable Gaussian Avatar from a Single Image with Inconsistent Gaussian Reconstruction [26.82525451095629]
本稿では,不整合画像の3次元再構成のためのロバストな手法を提案し,推論中のリアルタイムレンダリングを実現する。
再建問題を4次元課題として再検討し, 4次元ガウススプラッティングを用いた効率的な3次元モデリング手法を提案する。
実験により,本手法は3次元人体アバターの光実写・リアルタイムアニメーションを実現する。
論文 参考訳（メタデータ） (2024-12-03T18:55:39Z) - DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。
アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
論文 参考訳（メタデータ） (2023-05-21T17:59:39Z) - AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。
非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。
提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-08-01T01:27:02Z) - High-fidelity Face Tracking for AR/VR via Deep Lighting Adaptation [117.32310997522394]
3Dビデオアバターは、圧縮、プライバシー、エンターテイメント、AR/VRにおける存在感を提供することで、仮想コミュニケーションを強化することができる。
既存の人物固有の3dモデルは照明に頑健ではないため、その結果は通常微妙な顔の振る舞いを見逃し、アバターにアーティファクトを引き起こす。
本論文では,高品質の3D顔追跡アルゴリズムを組み合わせたディープラーニング照明モデルを用いて,通常の映像から3Dフォトリアリズムアバターへの微妙かつ堅牢な顔の動き伝達手法を提案する。
論文 参考訳（メタデータ） (2021-03-29T18:33:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。