論文の概要: GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning
- arxiv url: http://arxiv.org/abs/2312.11461v1
- Date: Mon, 18 Dec 2023 18:59:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 18:41:59.576921
- Title: GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning
- Title(参考訳): gavatar: 暗黙のメッシュ学習による3次元ガウスアバター
- Authors: Ye Yuan, Xueting Li, Yangyi Huang, Shalini De Mello, Koki Nagano, Jan
Kautz, Umar Iqbal
- Abstract要約: ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
- 参考スコア(独自算出の注目度): 63.36547802939503
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian splatting has emerged as a powerful 3D representation that harnesses
the advantages of both explicit (mesh) and implicit (NeRF) 3D representations.
In this paper, we seek to leverage Gaussian splatting to generate realistic
animatable avatars from textual descriptions, addressing the limitations (e.g.,
flexibility and efficiency) imposed by mesh or NeRF-based representations.
However, a naive application of Gaussian splatting cannot generate high-quality
animatable avatars and suffers from learning instability; it also cannot
capture fine avatar geometries and often leads to degenerate body parts. To
tackle these problems, we first propose a primitive-based 3D Gaussian
representation where Gaussians are defined inside pose-driven primitives to
facilitate animation. Second, to stabilize and amortize the learning of
millions of Gaussians, we propose to use neural implicit fields to predict the
Gaussian attributes (e.g., colors). Finally, to capture fine avatar geometries
and extract detailed meshes, we propose a novel SDF-based implicit mesh
learning approach for 3D Gaussians that regularizes the underlying geometries
and extracts highly detailed textured meshes. Our proposed method, GAvatar,
enables the large-scale generation of diverse animatable avatars using only
text prompts. GAvatar significantly surpasses existing methods in terms of both
appearance and geometry quality, and achieves extremely fast rendering (100
fps) at 1K resolution.
- Abstract(参考訳): ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,メッシュやNeRFに基づく表現によって課される制限(柔軟性や効率性など)に対処するため,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルアバターを生成する。
しかし、ガウス・スプレーティングの素直な応用は、高品質のアニメーション可能なアバターを生成できず、不安定な学習に苦しむ。
これらの問題に対処するために,まず,ポーズ駆動型プリミティブ内でガウスが定義され,アニメーションを容易にするプリミティブベースの3次元ガウス表現を提案する。
第2に,数百万ガウスの学習を安定させ,償却するために,神経的暗黙的場を用いてガウスの属性(例えば色)を予測することを提案する。
最後に,細かなアバタージオメトリを捕捉し,詳細なメッシュを抽出するために,基礎となるジオメトリを規則化し,高度に詳細なテクスチャー化されたメッシュを抽出する3次元ガウス系のための,新しいsdfベースの暗黙的メッシュ学習手法を提案する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
GAvatarは外観と幾何学的品質の両方で既存の手法を大幅に上回り、1K解像度で非常に高速なレンダリング(100 fps)を実現している。
関連論文リスト
- Recent Advances in 3D Gaussian Splatting [31.3820273122585]
3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。
3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。
本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
論文 参考訳(メタデータ) (2024-03-17T07:57:08Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳(メタデータ) (2024-02-07T12:36:54Z) - GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。
また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
論文 参考訳(メタデータ) (2024-02-02T14:50:23Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳(メタデータ) (2023-12-22T20:56:46Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳(メタデータ) (2023-12-10T17:07:37Z) - GaussianAvatars: Photorealistic Head Avatars with Rigged 3D Gaussians [41.378083782290545]
本稿では,表現,ポーズ,視点の面で完全に制御可能な光現実的頭部アバターを作成するための新しい手法を提案する。
中心となる考え方は、3次元ガウスのスプレートをパラメトリックな形態素面モデルに組み込んだ動的3次元表現である。
我々は、いくつかの挑戦的なシナリオにおいて、フォトリアリスティックアバターのアニメーション能力を実演する。
論文 参考訳(メタデータ) (2023-12-04T17:28:35Z) - GaussianHead: High-fidelity Head Avatars with Learnable Gaussian
Derivation [37.50920368655034]
本稿では, 異方性3次元ガウスモデルを用いて, 動作する人間の頭部をモデル化する枠組みを提案する。
実験では,高忠実度レンダリング,再現における最先端のアプローチ,クロスアイデンティティの再現,新しいビュー合成タスクを実現できる。
論文 参考訳(メタデータ) (2023-12-04T05:24:45Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting [113.37908093915837]
既存の方法は、スコア蒸留サンプリング(SDS)を通じてメッシュやニューラルフィールドのような3D表現を最適化する。
本稿では,高精細な形状とリアルな外観を持つ高品質な3D人間を創出する,効率的かつ効果的な枠組みであるHumanGaussianを提案する。
論文 参考訳(メタデータ) (2023-11-28T18:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。