論文の概要: Generalizable and Animatable Gaussian Head Avatar

• arxiv url: http://arxiv.org/abs/2410.07971v1
• Date: Thu, 10 Oct 2024 14:29:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 13:53:52.186928
• Title: Generalizable and Animatable Gaussian Head Avatar
• Title（参考訳）: 一般化可能でアニマタブルなガウスヘッドアバター
• Authors: Xuangeng Chu, Tatsuya Harada,
• Abstract要約: 本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
• 参考スコア（独自算出の注目度）: 50.34788590904843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose Generalizable and Animatable Gaussian head Avatar (GAGAvatar) for one-shot animatable head avatar reconstruction. Existing methods rely on neural radiance fields, leading to heavy rendering consumption and low reenactment speeds. To address these limitations, we generate the parameters of 3D Gaussians from a single image in a single forward pass. The key innovation of our work is the proposed dual-lifting method, which produces high-fidelity 3D Gaussians that capture identity and facial details. Additionally, we leverage global image features and the 3D morphable model to construct 3D Gaussians for controlling expressions. After training, our model can reconstruct unseen identities without specific optimizations and perform reenactment rendering at real-time speeds. Experiments show that our method exhibits superior performance compared to previous methods in terms of reconstruction quality and expression accuracy. We believe our method can establish new benchmarks for future research and advance applications of digital avatars. Code and demos are available https://github.com/xg-chu/GAGAvatar.
• Abstract（参考訳）: 本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 既存の方法は神経放射場に依存しており、高いレンダリング消費と低い再現速度をもたらす。 これらの制約に対処するため、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 我々の研究の重要な革新は、アイデンティティと顔の詳細をキャプチャする高忠実度3Dガウシアンを生成するデュアルリフト方式である。 さらに,グローバルな画像特徴と3次元形態素モデルを活用し,表現制御のための3次元ガウスモデルを構築した。 トレーニング後のモデルでは,特定の最適化を伴わずに未確認のアイデンティティを再構築し,リアルタイムに再現レンダリングを行うことができる。 提案手法は, 再現性や表現精度の点で, 従来の手法に比べて優れた性能を示すことを示す。 我々は,デジタルアバターの今後の研究と先進的な応用のための新しいベンチマークを確立することができると考えている。 コードとデモはhttps://github.com/xg-chu/GAGAvatar.comで公開されている。

関連論文リスト

• Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities [10.816370283498287]
  本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズする「ガウスデジャヴ」(Gaussian Deja-vu)フレームワークを紹介する。 パーソナライズのために、ニューラルネットワークに頼らずに迅速に収束する学習可能な表現認識補正ブレンドマップを提案する。 最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-09-23T00:11:30Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• Gaussian Eigen Models for Human Heads [28.49783203616257]
  動的3次元ガウスを低次元線形空間に圧縮する新しい手法である人頭用ガウス固有モデル(GEM)を提案する。 我々のアプローチはBranzとVetterの独創的な業績にインスパイアされ、メッシュベースの3D形態素モデル(3DMM)が登録メッシュから構築される。 我々は,自己再現と対人再現を最先端の3Dアバター法と比較し,より高い品質と制御性を示す。
  論文  参考訳（メタデータ） (2024-07-05T14:30:24Z)
• Expressive Gaussian Human Avatars from Monocular RGB Video [69.56388194249942]
  EVAは3DガウスとSMPL-Xに基づいて細部を巧みに彫刻する乾燥可能な人間モデルである。 SMPL-XモデルをRGBフレームに整合させることが,効果的なアバター学習において重要であることを強調した。 本稿では,勾配閾値を適応的に調整する適応密度制御戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-03T15:36:27Z)
• FAGhead: Fully Animate Gaussian Head from Monocular Videos [2.9979421496374683]
  FAGheadは、モノクロビデオから完全に制御可能な人間の肖像画を可能にする方法である。 従来の3次元形状メッシュ(3DMM)を明示し,中性な3次元ガウス多様体を複素表現で再構成するために最適化する。 アバターのエッジを効果的に管理するために,各画素のアルファ値を監督するアルファレンダリングを導入した。
  論文  参考訳（メタデータ） (2024-06-27T10:40:35Z)
• GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
  モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。 私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。 通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:15Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• GaussianHead: High-fidelity Head Avatars with Learnable Gaussian Derivation [35.39887092268696]
  本稿では, 異方性3次元ガウスモデルを用いて, 動作する人間の頭部をモデル化する枠組みを提案する。 実験では,高忠実度レンダリング,再現における最先端のアプローチ,クロスアイデンティティの再現,新しいビュー合成タスクを実現できる。
  論文  参考訳（メタデータ） (2023-12-04T05:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。