論文の概要: Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities
- arxiv url: http://arxiv.org/abs/2409.16147v2
- Date: Thu, 26 Sep 2024 17:31:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 17:52:35.674472
- Title: Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities
- Title（参考訳）: Gaussian Deja-vu: 一般化とパーソナライズ能力の強化による制御可能な3次元ガウスヘッドアバターの作成
- Authors: Peizhi Yan, Rabab Ward, Qiang Tang, Shan Du,
- Abstract要約: 本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズするガウス的D'eja-vuフレームワークを紹介する。
最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
- 参考スコア（独自算出の注目度）: 10.816370283498287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advancements in 3D Gaussian Splatting (3DGS) have unlocked significant potential for modeling 3D head avatars, providing greater flexibility than mesh-based methods and more efficient rendering compared to NeRF-based approaches. Despite these advancements, the creation of controllable 3DGS-based head avatars remains time-intensive, often requiring tens of minutes to hours. To expedite this process, we here introduce the ``Gaussian D\'ej\`a-vu" framework, which first obtains a generalized model of the head avatar and then personalizes the result. The generalized model is trained on large 2D (synthetic and real) image datasets. This model provides a well-initialized 3D Gaussian head that is further refined using a monocular video to achieve the personalized head avatar. For personalizing, we propose learnable expression-aware rectification blendmaps to correct the initial 3D Gaussians, ensuring rapid convergence without the reliance on neural networks. Experiments demonstrate that the proposed method meets its objectives. It outperforms state-of-the-art 3D Gaussian head avatars in terms of photorealistic quality as well as reduces training time consumption to at least a quarter of the existing methods, producing the avatar in minutes.
- Abstract（参考訳）: 近年の3Dガウス・スプラッティング(3DGS)は、3Dヘッドアバターをモデル化する大きな可能性を解き放ち、メッシュベースの手法よりも柔軟性があり、NeRFベースの手法よりも効率の良いレンダリングを実現している。
これらの進歩にもかかわらず、制御可能な3DGSベースのヘッドアバターの作成は時間集約的であり、しばしば数分間から数時間を要する。
この過程を高速化するために、まず頭部アバターの一般化モデルを取得し、その結果をパーソナライズする ``Gaussian D\'ej\`a-vu" フレームワークを導入する。
一般化されたモデルは、大規模な2D(合成および実)画像データセットに基づいて訓練される。
このモデルは、パーソナライズされた頭部アバターを実現するためにモノクロビデオを用いてさらに洗練される、十分に初期化された3Dガウスヘッドを提供する。
パーソナライズのために,最初の3次元ガウシアンを補正し,ニューラルネットワークに頼らずに迅速な収束を確保するために,学習可能な表現認識補正ブレンドマップを提案する。
実験により,提案手法が目的を満たすことを示す。
最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、トレーニング時間を既存の方法の少なくとも4分の1に短縮し、数分でアバターを生産する。
関連論文リスト
- Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。
近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。
本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
論文 参考訳（メタデータ） (2024-07-21T06:03:11Z) - Gaussian Eigen Models for Human Heads [28.49783203616257]
動的3次元ガウスを低次元線形空間に圧縮する新しい手法である人頭用ガウス固有モデル(GEM)を提案する。
我々のアプローチはBranzとVetterの独創的な業績にインスパイアされ、メッシュベースの3D形態素モデル(3DMM)が登録メッシュから構築される。
我々は,自己再現と対人再現を最先端の3Dアバター法と比較し,より高い品質と制御性を示す。
論文 参考訳（メタデータ） (2024-07-05T14:30:24Z) - GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。
私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。
通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
論文 参考訳（メタデータ） (2024-02-26T14:40:15Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳（メタデータ） (2023-12-18T18:59:12Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - Gaussian3Diff: 3D Gaussian Diffusion for 3D Full Head Synthesis and
Editing [53.05069432989608]
本稿では,3次元人間の頭部を顕著な柔軟性で生成するための新しい枠組みを提案する。
本手法は,顔の特徴や表情を微妙に編集した多彩でリアルな3次元頭部の作成を容易にする。
論文 参考訳（メタデータ） (2023-12-05T19:05:58Z) - HeadGaS: Real-Time Animatable Head Avatars via 3D Gaussian Splatting [11.849852156716171]
HeadGaSは3Dガウスプレート(3DGS)を3Dヘッド再構成とアニメーションに使用するモデルである。
我々は,HeadGaSがベースラインを最大2dBまで越えて,リアルタイム推論フレームレートの最先端結果を提供することを示した。
論文 参考訳（メタデータ） (2023-12-05T17:19:22Z) - Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians [41.86540576028268]
軽量なスパースビュー設定のための制御可能な3次元ガウスヘッドアバターを提案する。
提案手法は,超過大表現下でも2K解像度での超高忠実なレンダリング品質を実現するため,最先端のスパースビュー法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-12-05T11:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。