論文の概要: SEGA: Drivable 3D Gaussian Head Avatar from a Single Image

• arxiv url: http://arxiv.org/abs/2504.14373v2
• Date: Wed, 23 Apr 2025 12:27:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:52.694369
• Title: SEGA: Drivable 3D Gaussian Head Avatar from a Single Image
• Title（参考訳）: SEGA:1枚の画像から3Dガウシアンヘッドアバターを発見
• Authors: Chen Guo, Zhuo Su, Jian Wang, Shuang Li, Xu Chang, Zhaohu Li, Yang Zhao, Guidong Wang, Ruqi Huang,
• Abstract要約: 本稿では,3次元ドライビング可能なガウスヘッドアバターの新規な手法であるSEGAを提案する。 SEGAは、大規模な2Dデータセットから派生した先行データと、マルチビュー、マルチ圧縮、マルチIDデータから得られた3D先行データとをシームレスに結合する。 提案手法は, 一般化能力, アイデンティティ保存, 表現リアリズムにおいて, 最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 15.117619290414064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Creating photorealistic 3D head avatars from limited input has become increasingly important for applications in virtual reality, telepresence, and digital entertainment. While recent advances like neural rendering and 3D Gaussian splatting have enabled high-quality digital human avatar creation and animation, most methods rely on multiple images or multi-view inputs, limiting their practicality for real-world use. In this paper, we propose SEGA, a novel approach for Single-imagE-based 3D drivable Gaussian head Avatar creation that combines generalized prior models with a new hierarchical UV-space Gaussian Splatting framework. SEGA seamlessly combines priors derived from large-scale 2D datasets with 3D priors learned from multi-view, multi-expression, and multi-ID data, achieving robust generalization to unseen identities while ensuring 3D consistency across novel viewpoints and expressions. We further present a hierarchical UV-space Gaussian Splatting framework that leverages FLAME-based structural priors and employs a dual-branch architecture to disentangle dynamic and static facial components effectively. The dynamic branch encodes expression-driven fine details, while the static branch focuses on expression-invariant regions, enabling efficient parameter inference and precomputation. This design maximizes the utility of limited 3D data and achieves real-time performance for animation and rendering. Additionally, SEGA performs person-specific fine-tuning to further enhance the fidelity and realism of the generated avatars. Experiments show our method outperforms state-of-the-art approaches in generalization ability, identity preservation, and expression realism, advancing one-shot avatar creation for practical applications.
• Abstract（参考訳）: バーチャルリアリティー、テレプレゼンス、デジタルエンターテイメントの応用において、限られた入力からフォトリアリスティックな3Dヘッドアバターを作成することがますます重要になっている。 ニューラルレンダリングや3Dガウススプラッティングといった最近の進歩により、高品質なデジタルアバター作成とアニメーションが可能になったが、ほとんどの手法は複数の画像やマルチビュー入力に依存しており、現実の用途では実用性が制限されている。 本稿では, 一般化された先行モデルと新しい階層的UV空間ガウススティングフレームワークを組み合わせた, 1次元ドライビング可能なガウスヘッドアバター作成のための新しいアプローチであるSEGAを提案する。 SEGAは、大規模2Dデータセットから得られた先行データと、マルチビュー、マルチ圧縮、マルチIDデータから得られた3D先行データとをシームレスに結合し、新しい視点や表現の3D一貫性を確保しながら、未確認のアイデンティティへの堅牢な一般化を実現する。 さらに、FLAMEをベースとした構造的先行性を活用し、動的および静的な顔成分を効果的に切り離すためにデュアルブランチアーキテクチャを用いる階層的UV空間ガウススプラッティングフレームワークを提案する。 動的ブランチは式駆動の細部をエンコードし、静的ブランチは式不変の領域に焦点を当て、効率的なパラメータ推論と事前計算を可能にする。 この設計は、限られた3Dデータの有用性を最大化し、アニメーションとレンダリングのリアルタイムパフォーマンスを実現する。 さらに、SEGAは人固有の微調整を行い、生成されたアバターの忠実性とリアリズムをさらに強化する。 実験により,本手法は, 一般化能力, アイデンティティ保存, 表現リアリズムにおいて最先端の手法より優れており, 実用化に向けての一発アバター生成を推し進めている。

関連論文リスト

• Arc2Avatar: Generating Expressive 3D Avatars from a Single Image via ID Guidance [69.9745497000557]
  本稿では,人間の顔の基盤モデルを用いた最初のSDSベースの手法であるArc2Avatarについて述べる。 我々のアバターは人間の顔メッシュテンプレートとの密接な対応を維持しており、ブレンドシェープによる表現生成を可能にしている。
  論文  参考訳（メタデータ） (2025-01-09T17:04:33Z)
• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• HeadGAP: Few-Shot 3D Head Avatar via Generalizable Gaussian Priors [24.245586597913082]
  本稿では,高忠実かつアニマタブルなロバスト性を持つ数発のインザミルドデータから,新たな3Dヘッドアバター生成手法を提案する。 本稿では,事前学習とアバター生成フェーズからなるフレームワークを提案する。 我々のモデルは、効果的にヘッドプレッシャを活用し、それらを数ショットのパーソナライズに一般化することに成功している。
  論文  参考訳（メタデータ） (2024-08-12T09:19:38Z)
• NPGA: Neural Parametric Gaussian Avatars [46.52887358194364]
  マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。 我々は,高効率なレンダリングのための3次元ガウススプラッティングの手法を構築し,点雲のトポロジカルな柔軟性を継承する。 提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:58:09Z)
• GPAvatar: Generalizable and Precise Head Avatar from Image(s) [71.555405205039]
  GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。 提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
  論文  参考訳（メタデータ） (2024-01-18T18:56:34Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• InvertAvatar: Incremental GAN Inversion for Generalized Head Avatars [40.10906393484584]
  本稿では,複数フレームからの忠実度向上を目的としたアルゴリズムを用いて,アバター復元性能を向上させる新しいフレームワークを提案する。 本アーキテクチャでは,画素対応画像-画像変換を重要視し,観測空間と標準空間の対応を学習する必要性を緩和する。 提案手法は,1ショットと数ショットのアバターアニメーションタスクにおける最先端の性能を示す。
  論文  参考訳（メタデータ） (2023-12-03T18:59:15Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。