論文の概要: EVA: Expressive Virtual Avatars from Multi-view Videos

• arxiv url: http://arxiv.org/abs/2505.15385v1
• Date: Wed, 21 May 2025 11:22:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.526725
• Title: EVA: Expressive Virtual Avatars from Multi-view Videos
• Title（参考訳）: EVA:マルチビュービデオからの表現力のある仮想アバター
• Authors: Hendrik Junkawitsch, Guoxing Sun, Heming Zhu, Christian Theobalt, Marc Habermann,
• Abstract要約: 本稿では,アクター固有の,完全に制御可能な,表現力のある人間のアバターフレームワークであるExpressive Virtual Avatars (EVA)を紹介する。 EVAは、表情、身体の動き、手の動きの独立的な制御を可能にしながら、高忠実でライフライクなレンダリングをリアルタイムで実現している。 この研究は、完全に乾燥可能なデジタル人間モデルに向けた大きな進歩を示している。
• 参考スコア（独自算出の注目度）: 51.33851869426057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With recent advancements in neural rendering and motion capture algorithms, remarkable progress has been made in photorealistic human avatar modeling, unlocking immense potential for applications in virtual reality, augmented reality, remote communication, and industries such as gaming, film, and medicine. However, existing methods fail to provide complete, faithful, and expressive control over human avatars due to their entangled representation of facial expressions and body movements. In this work, we introduce Expressive Virtual Avatars (EVA), an actor-specific, fully controllable, and expressive human avatar framework that achieves high-fidelity, lifelike renderings in real time while enabling independent control of facial expressions, body movements, and hand gestures. Specifically, our approach designs the human avatar as a two-layer model: an expressive template geometry layer and a 3D Gaussian appearance layer. First, we present an expressive template tracking algorithm that leverages coarse-to-fine optimization to accurately recover body motions, facial expressions, and non-rigid deformation parameters from multi-view videos. Next, we propose a novel decoupled 3D Gaussian appearance model designed to effectively disentangle body and facial appearance. Unlike unified Gaussian estimation approaches, our method employs two specialized and independent modules to model the body and face separately. Experimental results demonstrate that EVA surpasses state-of-the-art methods in terms of rendering quality and expressiveness, validating its effectiveness in creating full-body avatars. This work represents a significant advancement towards fully drivable digital human models, enabling the creation of lifelike digital avatars that faithfully replicate human geometry and appearance.
• Abstract（参考訳）: ニューラルレンダリングとモーションキャプチャアルゴリズムの最近の進歩により、フォトリアリスティックな人間のアバターモデリングにおいて顕著な進歩が見られ、仮想現実、拡張現実、リモートコミュニケーション、そしてゲーム、映画、医療といった産業の応用の可能性が解き放たれた。 しかし、既存の手法では、顔の表情と身体の動きの絡み合った表現のために、人間のアバターを完全に、忠実に、表現力のあるコントロールを提供できない。 本研究では, 表情, 身体の動き, ジェスチャーの独立制御を実現しつつ, 高忠実度, ライフライクなレンダリングをリアルタイムで実現する, アクタ特有の, 完全に制御可能な, 表現力のある人間のアバターフレームワークであるExpressive Virtual Avatars(EVA)を紹介する。 具体的には,人間のアバターを2層モデルとして,表現的テンプレート幾何層と3次元ガウス的外観層を設計する。 まず、粗大な最適化を利用して、多視点ビデオから体の動き、表情、非剛性変形パラメータを正確に復元する表現的テンプレート追跡アルゴリズムを提案する。 次に,身体と顔の外観を効果的に切り離すように設計された3次元ガウス形状モデルを提案する。 統一ガウス推定法とは異なり、本手法では2つの独立モジュールを用いて体と面をモデル化する。 実験により,EVAはレンダリング品質と表現性において最先端の手法を超越し,フルボディアバターの製作の有効性を検証した。 この研究は、人間の形や外観を忠実に再現する生物のようなデジタルアバターを作れるように、完全に乾燥可能なデジタル人間モデルに向けた大きな進歩を示している。

関連論文リスト

• GUAVA: Generalizable Upper Body 3D Gaussian Avatar [32.476282286315055]
  3Dアバターの再構築には、通常、多視点または単眼ビデオと個々のIDのトレーニングが必要である。 まず,表情能力を高めるための表現型人間モデル(EHM)を提案する。 高速アニマタブルな上体3次元ガウスアバター再構成のための最初のフレームワークであるGUAVAを提案する。
  論文  参考訳（メタデータ） (2025-05-06T09:19:16Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• XAGen: 3D Expressive Human Avatars Generation [76.69560679209171]
  XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。 身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。 実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
  論文  参考訳（メタデータ） (2023-11-22T18:30:42Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。