論文の概要: HeadGAP: Few-shot 3D Head Avatar via Generalizable Gaussian Priors

• arxiv url: http://arxiv.org/abs/2408.06019v1
• Date: Mon, 12 Aug 2024 09:19:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 14:25:27.712505
• Title: HeadGAP: Few-shot 3D Head Avatar via Generalizable Gaussian Priors
• Title（参考訳）: HeadGAP: ガウシアン・プライオリティによる3Dヘッドアバター(動画あり)
• Authors: Xiaozheng Zheng, Chao Wen, Zhaohu Li, Weiyi Zhang, Zhuo Su, Xu Chang, Yang Zhao, Zheng Lv, Xiaoyuan Zhang, Yongjie Zhang, Guidong Wang, Lan Xu,
• Abstract要約: 本稿では,高忠実かつアニマタブルなロバスト性を持つ数発のインザミルドデータから,新たな3Dヘッドアバター生成手法を提案する。 本稿では,事前学習とアバター生成フェーズからなるフレームワークを提案する。 我々のモデルは、効果的にヘッドプレッシャを活用し、それらを数ショットのパーソナライズに一般化することに成功している。
• 参考スコア（独自算出の注目度）: 24.245586597913082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a novel 3D head avatar creation approach capable of generalizing from few-shot in-the-wild data with high-fidelity and animatable robustness. Given the underconstrained nature of this problem, incorporating prior knowledge is essential. Therefore, we propose a framework comprising prior learning and avatar creation phases. The prior learning phase leverages 3D head priors derived from a large-scale multi-view dynamic dataset, and the avatar creation phase applies these priors for few-shot personalization. Our approach effectively captures these priors by utilizing a Gaussian Splatting-based auto-decoder network with part-based dynamic modeling. Our method employs identity-shared encoding with personalized latent codes for individual identities to learn the attributes of Gaussian primitives. During the avatar creation phase, we achieve fast head avatar personalization by leveraging inversion and fine-tuning strategies. Extensive experiments demonstrate that our model effectively exploits head priors and successfully generalizes them to few-shot personalization, achieving photo-realistic rendering quality, multi-view consistency, and stable animation.
• Abstract（参考訳）: 本稿では,高忠実でアニマタブルなロバスト性を持つ数発のインザワイルドデータから一般化可能な,新しい3Dヘッドアバター作成手法を提案する。 この問題の制約の少ない性質を考えると、事前知識を取り入れることが不可欠である。 そこで本稿では,事前学習とアバター生成フェーズからなるフレームワークを提案する。 先行学習フェーズでは、大規模なマルチビュー動的データセットから派生した3Dヘッドの先行処理を利用し、アバター生成フェーズでは、これらの先行処理を数ショットのパーソナライズに応用する。 提案手法は,ガウスのSplattingをベースとした自動デコーダネットワークと部分的動的モデリングを併用することで,これらの先例を効果的に捉えている。 本手法では,個人識別のためのパーソナライズされた潜在符号を用いたアイデンティティ共有符号化を用いて,ガウスプリミティブの属性を学習する。 アバター作成段階では,インバージョンと微調整戦略を利用して高速な頭部アバターのパーソナライズを実現する。 広汎な実験により、我々のモデルは、効果的にヘッド優先を活用でき、それらを数ショットのパーソナライズに一般化し、フォトリアリスティックなレンダリング品質、マルチビュー整合性、安定したアニメーションを実現する。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities [10.816370283498287]
  本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズする「ガウスデジャヴ」(Gaussian Deja-vu)フレームワークを紹介する。 パーソナライズのために、ニューラルネットワークに頼らずに迅速に収束する学習可能な表現認識補正ブレンドマップを提案する。 最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-09-23T00:11:30Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• RodinHD: High-Fidelity 3D Avatar Generation with Diffusion Models [56.13752698926105]
  ポートレート画像から高忠実度3Dアバターを生成できるRodinHDを提案する。 我々はまず、多くのアバターに連続して三葉飛行機を取り付けたときに生じる破滅的な忘れの問題を特定する。 本研究では, より微細な階層表現を演算し, リッチな2次元テクスチャキューを捕捉し, 複数層での3次元拡散モデルに注入することにより, ポートレート画像の導出効果を最適化する。 三葉機用に最適化されたノイズスケジュールを持つ46Kアバターでトレーニングを行うと、得られたモデルは従来の方法よりも顕著な詳細で3Dアバターを生成することができ、内蔵機器に一般化することができる。
  論文  参考訳（メタデータ） (2024-07-09T15:14:45Z)
• NPGA: Neural Parametric Gaussian Avatars [46.52887358194364]
  マルチビュー映像記録から高忠実度制御可能なアバターを作成するためのデータ駆動方式を提案する。 我々は,高効率なレンダリングのための3次元ガウススプラッティングの手法を構築し,点雲のトポロジカルな柔軟性を継承する。 提案手法をNeRSembleデータセット上で評価し,NPGAが従来の自己再現タスクの2.6PSNRよりも有意に優れていたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:58:09Z)
• GPAvatar: Generalizable and Precise Head Avatar from Image(s) [71.555405205039]
  GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。 提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
  論文  参考訳（メタデータ） (2024-01-18T18:56:34Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane Rendering [81.55960827071661]
  制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。 汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T09:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。