論文の概要: GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning
- arxiv url: http://arxiv.org/abs/2312.11461v2
- Date: Fri, 29 Mar 2024 04:32:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 20:07:17.659992
- Title: GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning
- Title（参考訳）: GAvatar: 暗黙のメッシュ学習を備えたアニマタブルな3Dガウスアバター
- Authors: Ye Yuan, Xueting Li, Yangyi Huang, Shalini De Mello, Koki Nagano, Jan Kautz, Umar Iqbal,
- Abstract要約: ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
- 参考スコア（独自算出の注目度）: 60.33970027554299
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian splatting has emerged as a powerful 3D representation that harnesses the advantages of both explicit (mesh) and implicit (NeRF) 3D representations. In this paper, we seek to leverage Gaussian splatting to generate realistic animatable avatars from textual descriptions, addressing the limitations (e.g., flexibility and efficiency) imposed by mesh or NeRF-based representations. However, a naive application of Gaussian splatting cannot generate high-quality animatable avatars and suffers from learning instability; it also cannot capture fine avatar geometries and often leads to degenerate body parts. To tackle these problems, we first propose a primitive-based 3D Gaussian representation where Gaussians are defined inside pose-driven primitives to facilitate animation. Second, to stabilize and amortize the learning of millions of Gaussians, we propose to use neural implicit fields to predict the Gaussian attributes (e.g., colors). Finally, to capture fine avatar geometries and extract detailed meshes, we propose a novel SDF-based implicit mesh learning approach for 3D Gaussians that regularizes the underlying geometries and extracts highly detailed textured meshes. Our proposed method, GAvatar, enables the large-scale generation of diverse animatable avatars using only text prompts. GAvatar significantly surpasses existing methods in terms of both appearance and geometry quality, and achieves extremely fast rendering (100 fps) at 1K resolution.
- Abstract（参考訳）: ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,メッシュやNeRFに基づく表現によって課される制限(柔軟性や効率性など)に対処するため,ガウススプラッティングを活用して,テキスト記述から現実的なアニマタブルアバターを生成する。
しかし、ガウススプラッティングの素質的な応用は高品質なアニマタブルなアバターを生成できず、不安定な学習に苦しむ。
これらの問題に対処するために、まずプリミティブベースの3次元ガウス表現を提案し、ガウス表現はポーズ駆動プリミティブの中で定義され、アニメーションを容易にする。
第二に、何百万人ものガウスの学習を安定させ、記憶させるため、ニューラルネットワークを用いてガウスの属性(例えば色)を予測することを提案する。
最後に、細かなアバターのジオメトリを捕捉し、詳細なメッシュを抽出するために、基礎となるジオメトリを規則化し、高度に詳細なテクスチャ化されたメッシュを抽出する3Dガウスのための新しいSDFベースの暗黙的メッシュ学習手法を提案する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
GAvatarは外観と幾何学的品質の両方で既存の手法を大幅に上回り、1K解像度で非常に高速なレンダリング(100 fps)を実現している。
関連論文リスト
- Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - $E^{3}$Gen: Efficient, Expressive and Editable Avatars Generation [71.72171053129655]
本稿では,効率的な,表現的で編集可能なデジタルアバター生成のための3Dガウスモデルを提案する。
本稿では,これらの課題を効果的に解決するために,$E3$Genという新しいアバター生成手法を提案する。
提案手法は,アバター生成における優れた性能を実現し,表現力のあるフルボディポーズ制御と編集を可能にする。
論文 参考訳（メタデータ） (2024-05-29T15:43:49Z) - GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction [70.65250036489128]
3Dのセマンティック占有予測は,周囲のシーンの3Dの微細な形状とセマンティックスを得ることを目的としている。
本稿では,3Dシーンを3Dセマンティック・ガウシアンで表現するオブジェクト中心表現を提案する。
GaussianFormerは17.8%から24.8%のメモリ消費しか持たない最先端のメソッドで同等のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-27T17:59:51Z) - GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。
また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
論文 参考訳（メタデータ） (2024-02-02T14:50:23Z) - GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。
提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-01T18:14:42Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians [41.378083782290545]
本稿では,表現,ポーズ,視点の面で完全に制御可能な光現実的頭部アバターを作成するための新しい手法を提案する。
中心となる考え方は、3次元ガウスのスプレートをパラメトリックな形態素面モデルに組み込んだ動的3次元表現である。
我々は、いくつかの挑戦的なシナリオにおいて、フォトリアリスティックアバターのアニメーション能力を実演する。
論文 参考訳（メタデータ） (2023-12-04T17:28:35Z) - GaussianHead: High-fidelity Head Avatars with Learnable Gaussian Derivation [35.39887092268696]
本稿では, 異方性3次元ガウスモデルを用いて, 動作する人間の頭部をモデル化する枠組みを提案する。
実験では,高忠実度レンダリング,再現における最先端のアプローチ,クロスアイデンティティの再現,新しいビュー合成タスクを実現できる。
論文 参考訳（メタデータ） (2023-12-04T05:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。