論文の概要: Multi-View Face and Gesture Animation with Dynamic Gaussians
- arxiv url: http://arxiv.org/abs/2608.04722v1
- Date: Wed, 05 Aug 2026 11:43:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.857563
- Title: Multi-View Face and Gesture Animation with Dynamic Gaussians
- Title（参考訳）: 動的ガウスによる多視点顔とジェスチャーアニメーション
- Authors: Alireza Javanmardi, Vippin Kumar Jeetmal, Christen Millerdurai, Alain Pagani, Didier Stricker,
- Abstract要約: 本稿では,現実的な上半身アバターを生成するための新しい多視点パイプラインMVFGAを提案する。
我々のアプローチは顔と手を別々にモデル化し、パラメトリックの上半身メッシュモデルでそれらを融合する。
次に、得られたメッシュ上に3Dガウスアンを配置し、ダイナミックアバターの高品質な光リアルレンダリングを可能にする。
- 参考スコア（独自算出の注目度）: 19.248725316098465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Creating photorealistic 3D human avatars with realistic upper-body motion remains challenging. Existing approaches either focus on the head and overlook hand gestures, or reconstruct the full body but fail to preserve fine-grained facial fidelity and hand pose accuracy. As a result, current methods struggle to capture the subtle dynamics of facial expressions and hand gestures that are crucial for natural human communication. While methods based on full-body parametric models enable avatar reconstruction from monocular or multi-view inputs, they often lack accurate facial animation and detailed hand articulation. To address these limitations, we propose MVFGA, a novel multi-view-consistent pipeline for generating realistic upper-body avatars. Our approach models the face and hands separately and fuses them with a parametric upper-body mesh model, enabling the capture of fine-grained facial expressions and hand poses for accurate upper-body avatar reconstruction. We then splat 3D Gaussians onto the obtained mesh, enabling high-quality rendering of dynamic avatars from novel viewpoints. Furthermore, we introduce MVFGA-MoCap, a multi-view upper-body motion capture dataset featuring controlled facial expression sequences, diverse hand gestures, and free-form communication. Experiments show that MVFGA generates visually realistic avatars with high-fidelity facial expressions and hand motions, outperforming baselines for upper-body avatar animation. Project page: https://dfki-av.github.io/MVFGA/
- Abstract（参考訳）: リアルな上半身の動きで光現実的な3Dアバターを作るのは、まだまだ難しい。
既存のアプローチは、頭と手の動きに焦点を合わせ、または全身を再構築するが、きめ細かい顔の忠実さと手のポーズの正確さを保たない。
その結果、現在の手法は、人間の自然なコミュニケーションに不可欠な表情や手の動きの微妙なダイナミクスを捉えるのに苦労している。
フルボディパラメトリックモデルに基づく手法は、単眼または多視点入力からのアバター再構成を可能にするが、正確な顔のアニメーションと詳細な手話が欠如していることが多い。
これらの制約に対処するために,現実的な上半身アバターを生成するための新しいマルチビュー一貫性パイプラインであるMVFGAを提案する。
本手法では, 顔と手を別々にモデル化し, パラメトリックな上体メッシュモデルで融合し, 顔のきめ細かい表情と手ポーズを捉えることで, 上体アバターの正確な再構築を可能にする。
そして、得られたメッシュ上に3Dガウスアンを配置し、新しい視点から動的アバターの高品質なレンダリングを可能にする。
さらに,多視点上体モーションキャプチャーデータセットであるMVFGA-MoCapを導入する。
実験により、MVFGAは高忠実な表情と手の動きを持つ視覚的にリアルなアバターを生成し、上半身のアバターアニメーションのベースラインよりも優れていることが示された。
プロジェクトページ: https://dfki-av.github.io/MVFGA/
関連論文リスト
- Structure-Aware Fine-Grained Gaussian Splatting for Expressive Avatar Reconstruction [27.915439949805876]
本稿では,モノクロビデオシーケンスから表現力とコヒーレントなフルボディの3次元アバターを再構築する手法を提案する。
本手法では,1段階のトレーニングのみが必要であり,定量評価と定性評価の両方において,最先端のベースラインを上回っている。
論文 参考訳（メタデータ） (2026-04-10T13:49:15Z) - ScaffoldAvatar: High-Fidelity Gaussian Avatars with Patch Expressions [49.34398022152462]
局所的に定義した表情と3Dガウススプラッティングを組み合わせて,超高忠実度,表現性,フォトリアリスティックな3D頭部アバターを作成することを提案する。
特に、パッチベースの幾何学的3次元顔モデルを用いて、パッチ表現を抽出し、それらを局所的なダイナミックスキンの外観や動きに変換する方法を学ぶ。
我々は,高解像度の3Kトレーニング画像に対して,高画質な結果とより高速なコンバージェンスを得るために,カラーベースデンシフィケーションとプログレッシブトレーニングを採用している。
論文 参考訳（メタデータ） (2025-07-14T17:59:03Z) - EVA: Expressive Virtual Avatars from Multi-view Videos [51.33851869426057]
本稿では,アクター固有の,完全に制御可能な,表現力のある人間のアバターフレームワークであるExpressive Virtual Avatars (EVA)を紹介する。
EVAは、表情、身体の動き、手の動きの独立的な制御を可能にしながら、高忠実でライフライクなレンダリングをリアルタイムで実現している。
この研究は、完全に乾燥可能なデジタル人間モデルに向けた大きな進歩を示している。
論文 参考訳（メタデータ） (2025-05-21T11:22:52Z) - GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。
本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
論文 参考訳（メタデータ） (2024-08-20T06:52:03Z) - Expressive Whole-Body 3D Gaussian Avatar [34.3179424934446]
モノクローナルビデオから学習した,表現力のある全身3DアバターであるExAvatarについて紹介する。
主な課題は,1)表情の多様性に限界があり,映像中のポーズ,2)3DスキャンやRGBD画像などの3D観察の欠如である。
論文 参考訳（メタデータ） (2024-07-31T15:29:13Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳（メタデータ） (2023-12-22T20:56:46Z) - GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar [48.21353924040671]
そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。
3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。
この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
論文 参考訳（メタデータ） (2023-11-22T19:13:00Z) - XAGen: 3D Expressive Human Avatars Generation [76.69560679209171]
XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。
身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。
実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
論文 参考訳（メタデータ） (2023-11-22T18:30:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。