論文の概要: ScaffoldAvatar: High-Fidelity Gaussian Avatars with Patch Expressions

• arxiv url: http://arxiv.org/abs/2507.10542v1
• Date: Mon, 14 Jul 2025 17:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:25.665938
• Title: ScaffoldAvatar: High-Fidelity Gaussian Avatars with Patch Expressions
• Title（参考訳）: ScaffoldAvatar: パッチ表現を持つ高忠実なガウスアバター
• Authors: Shivangi Aneja, Sebastian Weiss, Irene Baeza, Prashanth Chandran, Gaspard Zoss, Matthias Nießner, Derek Bradley,
• Abstract要約: 局所的に定義した表情と3Dガウススプラッティングを組み合わせて,超高忠実度,表現性,フォトリアリスティックな3D頭部アバターを作成することを提案する。 特に、パッチベースの幾何学的3次元顔モデルを用いて、パッチ表現を抽出し、それらを局所的なダイナミックスキンの外観や動きに変換する方法を学ぶ。 我々は,高解像度の3Kトレーニング画像に対して,高画質な結果とより高速なコンバージェンスを得るために,カラーベースデンシフィケーションとプログレッシブトレーニングを採用している。
• 参考スコア（独自算出の注目度）: 49.34398022152462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating high-fidelity real-time animated sequences of photorealistic 3D head avatars is important for many graphics applications, including immersive telepresence and movies. This is a challenging problem particularly when rendering digital avatar close-ups for showing character's facial microfeatures and expressions. To capture the expressive, detailed nature of human heads, including skin furrowing and finer-scale facial movements, we propose to couple locally-defined facial expressions with 3D Gaussian splatting to enable creating ultra-high fidelity, expressive and photorealistic 3D head avatars. In contrast to previous works that operate on a global expression space, we condition our avatar's dynamics on patch-based local expression features and synthesize 3D Gaussians at a patch level. In particular, we leverage a patch-based geometric 3D face model to extract patch expressions and learn how to translate these into local dynamic skin appearance and motion by coupling the patches with anchor points of Scaffold-GS, a recent hierarchical scene representation. These anchors are then used to synthesize 3D Gaussians on-the-fly, conditioned by patch-expressions and viewing direction. We employ color-based densification and progressive training to obtain high-quality results and faster convergence for high resolution 3K training images. By leveraging patch-level expressions, ScaffoldAvatar consistently achieves state-of-the-art performance with visually natural motion, while encompassing diverse facial expressions and styles in real time.
• Abstract（参考訳）: 没入型テレプレゼンスや映画など、多くのグラフィックスアプリケーションにおいて、フォトリアリスティックな3Dヘッドアバターの高忠実なリアルタイムアニメーションシーケンスを生成することが重要である。 これは特に、キャラクタの顔の微細な特徴や表情を示すために、デジタルアバタークローズアップをレンダリングする場合に難しい問題である。 そこで本研究では,3次元ガウシアンスプラッティングと局所的に定義された表情を結合させて,超高忠実,表現的,フォトリアリスティックな3次元頭部アバターを創出することを提案する。 グローバルな表現空間で動作する以前の研究とは対照的に、パッチベースの局所的な表現機能にアバターのダイナミクスを条件付け、パッチレベルで3Dガウスを合成する。 特に、パッチベースの幾何学的3次元顔モデルを用いてパッチ表現を抽出し、最近の階層的なシーン表現であるScaffold-GSのアンカーポイントとパッチを結合することにより、それらを局所的なダイナミックスキンの外観や動きに変換する方法を学ぶ。 これらのアンカーは3Dガウシアンをオンザフライで合成し、パッチ表現と視聴方向で条件付けする。 我々は,高解像度の3Kトレーニング画像に対して,高画質な結果とより高速なコンバージェンスを得るために,カラーベースデンシフィケーションとプログレッシブトレーニングを採用している。 パッチレベルの表現を活用することで、SaffoldAvatarは、さまざまな表情やスタイルをリアルタイムで包含しながら、視覚的に自然な動きで最先端のパフォーマンスを一貫して達成する。

関連論文リスト

• EVA: Expressive Virtual Avatars from Multi-view Videos [51.33851869426057]
  本稿では,アクター固有の,完全に制御可能な,表現力のある人間のアバターフレームワークであるExpressive Virtual Avatars (EVA)を紹介する。 EVAは、表情、身体の動き、手の動きの独立的な制御を可能にしながら、高忠実でライフライクなレンダリングをリアルタイムで実現している。 この研究は、完全に乾燥可能なデジタル人間モデルに向けた大きな進歩を示している。
  論文  参考訳（メタデータ） (2025-05-21T11:22:52Z)
• TeGA: Texture Space Gaussian Avatars for High-Resolution Dynamic Head Modeling [52.87836237427514]
  フォトリアルアバターは、テレプレゼンス、拡張現実、エンターテイメントにおける新興アプリケーションにおいて重要な要素であると見なされている。 本稿では,最先端の3Dヘッドアバターモデルを提案する。
  論文  参考訳（メタデータ） (2025-05-08T22:10:27Z)
• GaussianSpeech: Audio-Driven Gaussian Avatars [76.10163891172192]
  本稿では,3次元頭部アバターの高忠実度アニメーションシーケンスを音声音声から合成する手法であるGaussianSpeechを紹介する。 本稿では,表情に依存した色を生成するコンパクトで効率的な3DGSベースのアバター表現を提案する。
  論文  参考訳（メタデータ） (2024-11-27T18:54:08Z)
• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
  顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
  論文  参考訳（メタデータ） (2024-08-20T06:52:03Z)
• Expressive Whole-Body 3D Gaussian Avatar [34.3179424934446]
  モノクローナルビデオから学習した,表現力のある全身3DアバターであるExAvatarについて紹介する。 主な課題は,1)表情の多様性に限界があり,映像中のポーズ,2)3DスキャンやRGBD画像などの3D観察の欠如である。
  論文  参考訳（メタデータ） (2024-07-31T15:29:13Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。