論文の概要: GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos
- arxiv url: http://arxiv.org/abs/2402.16607v2
- Date: Tue, 19 Mar 2024 08:58:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 23:12:03.454489
- Title: GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos
- Title(参考訳): GVA:モノクロ映像から鮮明な3Dガウスアバターを再構築
- Authors: Xinqi Liu, Chenming Wu, Jialun Liu, Xing Liu, Jinbo Wu, Chen Zhao, Haocheng Feng, Errui Ding, Jingdong Wang,
- Abstract要約: モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。
私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。
通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
- 参考スコア(独自算出の注目度): 56.40776739573832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present a novel method that facilitates the creation of vivid 3D Gaussian avatars from monocular video inputs (GVA). Our innovation lies in addressing the intricate challenges of delivering high-fidelity human body reconstructions and aligning 3D Gaussians with human skin surfaces accurately. The key contributions of this paper are twofold. Firstly, we introduce a pose refinement technique to improve hand and foot pose accuracy by aligning normal maps and silhouettes. Precise pose is crucial for correct shape and appearance reconstruction. Secondly, we address the problems of unbalanced aggregation and initialization bias that previously diminished the quality of 3D Gaussian avatars, through a novel surface-guided re-initialization method that ensures accurate alignment of 3D Gaussian points with avatar surfaces. Experimental results demonstrate that our proposed method achieves high-fidelity and vivid 3D Gaussian avatar reconstruction. Extensive experimental analyses validate the performance qualitatively and quantitatively, demonstrating that it achieves state-of-the-art performance in photo-realistic novel view synthesis while offering fine-grained control over the human body and hand pose. Project page: https://3d-aigc.github.io/GVA/.
- Abstract(参考訳): 本稿では,モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。
私たちのイノベーションは、高忠実な人間の体を再現し、3Dガウスを人間の皮膚表面と正確に整合させるという、複雑な課題に対処することにあります。
本論文の重要な貢献は2つある。
まず,通常の地図やシルエットを整列させることで手足のポーズ精度を向上させるポーズ改善手法を提案する。
精密なポーズは、正確な形状と外観の復元に不可欠である。
第2に、3次元ガウス点とアバター面との正確なアライメントを保証する新しい曲面誘導再初期化法により、3次元ガウス点の品質を低下させたアンバランスアグリゲーションと初期化バイアスの問題に対処する。
実験により,提案手法は高忠実かつ鮮明な3次元ガウスアバター再構成を実現することが示された。
広汎な実験的分析は、人体と手ポーズのきめ細かい制御を提供しながら、フォトリアリスティックなノベルビュー合成において、最先端のパフォーマンスを達成することを実証し、質的かつ定量的に評価する。
プロジェクトページ: https://3d-aigc.github.io/GVA/。
関連論文リスト
- UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。
我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
論文 参考訳(メタデータ) (2024-03-18T09:03:56Z) - GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting [14.937297984020821]
本稿では,3次元ガウシアンスプラッティングをベースとした,ガウシアンボディと呼ばれる新しい布地復元手法を提案する。
静的な3次元ガウススメッティングモデルを動的復元問題に適用することは、複雑な非剛性変形とリッチな布の細部のために非自明である。
本手法は,ダイナミックな衣料人体に高精細な画質で,最先端のフォトリアリスティックなノベルビューレンダリングを実現できることを示す。
論文 参考訳(メタデータ) (2024-01-18T04:48:13Z) - Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。
ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。
当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
論文 参考訳(メタデータ) (2023-12-22T20:56:46Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳(メタデータ) (2023-12-18T18:59:12Z) - Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians [41.86540576028268]
軽量なスパースビュー設定のための制御可能な3次元ガウスヘッドアバターを提案する。
提案手法は,超過大表現下でも2K解像度での超高忠実なレンダリング品質を実現するため,最先端のスパースビュー法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-12-05T11:01:44Z) - GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。
アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
論文 参考訳(メタデータ) (2023-10-04T10:30:24Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳(メタデータ) (2023-04-03T12:11:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。