論文の概要: HyperGaussians: High-Dimensional Gaussian Splatting for High-Fidelity Animatable Face Avatars

• arxiv url: http://arxiv.org/abs/2507.02803v1
• Date: Thu, 03 Jul 2025 17:06:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:16.680907
• Title: HyperGaussians: High-Dimensional Gaussian Splatting for High-Fidelity Animatable Face Avatars
• Title（参考訳）: HyperGaussian:高忠実アニマタブル顔アバターのための高次元ガウススプラッティング
• Authors: Gent Serifi, Marcel C. Bühler,
• Abstract要約: 高品質なアニマタブル顔アバターのための3次元ガウススプラッティングの新規拡張であるHyperGaussianを紹介する。 我々の洞察は「ハイパーガウシアン」と呼ばれる高次元多変量ガウシアンへの3次元ガウシアンの新しい拡張につながった。 4つの顔データから19名の被験者を対象に,HyperGaussianが3DGSより数値的,視覚的に優れていたことを示す。
• 参考スコア（独自算出の注目度）: 2.1178416840822027
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce HyperGaussians, a novel extension of 3D Gaussian Splatting for high-quality animatable face avatars. Creating such detailed face avatars from videos is a challenging problem and has numerous applications in augmented and virtual reality. While tremendous successes have been achieved for static faces, animatable avatars from monocular videos still fall in the uncanny valley. The de facto standard, 3D Gaussian Splatting (3DGS), represents a face through a collection of 3D Gaussian primitives. 3DGS excels at rendering static faces, but the state-of-the-art still struggles with nonlinear deformations, complex lighting effects, and fine details. While most related works focus on predicting better Gaussian parameters from expression codes, we rethink the 3D Gaussian representation itself and how to make it more expressive. Our insights lead to a novel extension of 3D Gaussians to high-dimensional multivariate Gaussians, dubbed 'HyperGaussians'. The higher dimensionality increases expressivity through conditioning on a learnable local embedding. However, splatting HyperGaussians is computationally expensive because it requires inverting a high-dimensional covariance matrix. We solve this by reparameterizing the covariance matrix, dubbed the 'inverse covariance trick'. This trick boosts the efficiency so that HyperGaussians can be seamlessly integrated into existing models. To demonstrate this, we plug in HyperGaussians into the state-of-the-art in fast monocular face avatars: FlashAvatar. Our evaluation on 19 subjects from 4 face datasets shows that HyperGaussians outperform 3DGS numerically and visually, particularly for high-frequency details like eyeglass frames, teeth, complex facial movements, and specular reflections.
• Abstract（参考訳）: 高品質なアニマタブル顔アバターのための3次元ガウススプラッティングの新規拡張であるHyperGaussianを紹介する。 ビデオからこのような詳細な顔アバターを作るのは難しい問題であり、拡張現実やバーチャルリアリティーに多くの応用がある。 静的な顔には非常に成功したが、モノクラービデオのアニマタブルなアバターは今でも不気味な谷に落ちている。 事実上の標準である 3D Gaussian Splatting (3DGS) は、3D Gaussian プリミティブのコレクションを通して顔を表す。 3DGSは、静的な顔のレンダリングに優れていますが、その最先端技術は、非線形な変形、複雑な照明効果、細部までも苦戦しています。 ほとんどの関連する研究は、表現符号からより良いガウスパラメータを予測することに重点を置いているが、3Dガウス表現自体を再考し、それをより表現的にする方法を考える。 我々の洞察は、"HyperGaussians"と呼ばれる高次元多変量ガウスへの3Dガウスの新たな拡張につながった。 より高次元性は学習可能な局所埋め込みの条件付けによって表現性を高める。 しかし、高次元の共分散行列を反転させる必要があるため、超ガウス多様体のスプレイティングは計算に高価である。 これを「逆共分散トリック」と呼ばれる共分散行列を再パラメータ化することで解決する。 このトリックにより効率が向上し、HyperGaussianを既存のモデルにシームレスに統合できる。 これを示すために、HyperGaussianを高速なモノクラー顔アバター、FlashAvatarに差し込む。 4つの顔データから得られた19名の被験者を評価したところ、ハイパーガウスは3DGSの数値的・視覚的に優れており、特に眼鏡のフレーム、歯、複雑な顔の動き、鏡像の反射といった高頻度の詳細に対して優れていた。

関連論文リスト

• MixedGaussianAvatar: Realistically and Geometrically Accurate Head Avatar via Mixed 2D-3D Gaussian Splatting [38.16397253003339]
  高忠実度3Dヘッドアバターの再構築は、仮想現実などの様々な応用において重要である。 最近の3次元ガウススティング(3DGS)に基づく手法は、トレーニングとレンダリングの効率を著しく向上させる。 そこで我々は,MixedGaussian Avatarという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T11:17:25Z)
• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• GaussianHead: High-fidelity Head Avatars with Learnable Gaussian Derivation [35.39887092268696]
  本稿では, 異方性3次元ガウスモデルを用いて, 動作する人間の頭部をモデル化する枠組みを提案する。 実験では,高忠実度レンダリング,再現における最先端のアプローチ,クロスアイデンティティの再現,新しいビュー合成タスクを実現できる。
  論文  参考訳（メタデータ） (2023-12-04T05:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。