論文の概要: GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2401.09720v2
- Date: Sat, 27 Jan 2024 06:54:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 20:21:10.358697
- Title: GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting
- Title(参考訳): Gaussian Body: 3d Gaussian Splattingによる衣服の復元
- Authors: Mengtian Li, Shengxiang Yao, Zhifeng Xie, Keyu Chen
- Abstract要約: 本稿では,3次元ガウシアンスプラッティングをベースとした,ガウシアンボディと呼ばれる新しい布地復元手法を提案する。
静的な3次元ガウススメッティングモデルを動的復元問題に適用することは、複雑な非剛性変形とリッチな布の細部のために非自明である。
本手法は,ダイナミックな衣料人体に高精細な画質で,最先端のフォトリアリスティックなノベルビューレンダリングを実現できることを示す。
- 参考スコア(独自算出の注目度): 14.937297984020821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose a novel clothed human reconstruction method called
GaussianBody, based on 3D Gaussian Splatting. Compared with the costly neural
radiance based models, 3D Gaussian Splatting has recently demonstrated great
performance in terms of training time and rendering quality. However, applying
the static 3D Gaussian Splatting model to the dynamic human reconstruction
problem is non-trivial due to complicated non-rigid deformations and rich cloth
details. To address these challenges, our method considers explicit pose-guided
deformation to associate dynamic Gaussians across the canonical space and the
observation space, introducing a physically-based prior with regularized
transformations helps mitigate ambiguity between the two spaces. During the
training process, we further propose a pose refinement strategy to update the
pose regression for compensating the inaccurate initial estimation and a
split-with-scale mechanism to enhance the density of regressed point clouds.
The experiments validate that our method can achieve state-of-the-art
photorealistic novel-view rendering results with high-quality details for
dynamic clothed human bodies, along with explicit geometry reconstruction.
- Abstract(参考訳): そこで本研究では,3次元ガウシアンスプレイティングをベースとした,ガウシアンボディと呼ばれる新しい布地復元手法を提案する。
3D Gaussian Splattingは、高価なニューラルラディアンスベースモデルと比較して、トレーニング時間とレンダリング品質の点で、最近優れたパフォーマンスを示している。
しかし, 動的復元問題に対する静的な3次元ガウススティングモデルの適用は, 複雑な非剛性変形とリッチな布の細部により容易ではない。
これらの課題に対処するため,本手法では,標準空間と観測空間をまたいで動的ガウスを関連付けるために,明示的なポーズ誘導変形を考える。
訓練中,不正確な初期推定を補償するためのポーズ回帰を更新するポーズ改善戦略と,回帰点雲の密度を高めるためのスプリット・ア・スケール機構を提案する。
提案手法は, ダイナミックな布を被る人体に対して, 鮮明な幾何学的再構成とともに, 高品質な細部を施した, 最先端のフォトリアリスティックなノベルビューレンダリングを実現できることを示す。
関連論文リスト
- GEA: Reconstructing Expressive 3D Gaussian Avatar from Monocular Video [58.529031282445665]
GEAは3Dガウスに基づく高忠実度体と手を再現した表現力のある3Dアバターを作成する新しい方法である。
人体とポーズのきめ細かい制御を提供しながら、フォトリアリスティックなビュー合成における最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2024-02-26T14:40:15Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳(メタデータ) (2024-02-07T12:36:54Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for
Real-time Human Novel View Synthesis [73.7634042008412]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - Neural Parametric Gaussians for Monocular Non-Rigid Object
Reconstruction [8.861759745030843]
モノクロビデオから動的オブジェクトを再構築することは、過小評価され難解な問題である。
本稿では,2段階のアプローチを取り入れたニューラルパラメトリックガウス(NPG)を提案する。
NPGは、特にマルチビューの手がかりがほとんどない挑戦的なシナリオにおいて、以前の研究よりも優れた結果が得られる。
論文 参考訳(メタデータ) (2023-12-02T18:06:24Z) - NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting
Guidance [59.08521048003009]
本稿では,3次元ガウススプラッティングから高精細な表面を復元する神経暗黙的表面再構成パイプラインを提案する。
3Dガウススプラッティングの利点は、詳細な構造を持つ高密度の点雲を生成することができることである。
我々は3次元ガウスを極端に薄くすることで、表面に近い中心を引っ張るスケール正則化器を導入する。
論文 参考訳(メタデータ) (2023-12-01T07:04:47Z) - SplatArmor: Articulated Gaussian splatting for animatable humans from
monocular RGB videos [15.74530749823217]
SplatArmorは, 3次元ガウスモデルを用いたパラメータ化ボディモデルの装甲により, 詳細かつアニマタブルな人体モデルを復元する新しい手法である。
我々のアプローチは、人間を標準空間内の3次元ガウスの集合として表現し、その記述は、下層のSMPL幾何学のスキン化を拡張することによって定義される。
ZJU MoCap と People Snapshot のデータセットに魅力的な結果が得られた。
論文 参考訳(メタデータ) (2023-11-17T18:47:07Z) - Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。
本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。
微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文 参考訳(メタデータ) (2023-09-22T16:04:02Z) - Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。
我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。
我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文 参考訳(メタデータ) (2020-08-16T13:38:41Z) - PaMIR: Parametric Model-Conditioned Implicit Representation for
Image-based Human Reconstruction [67.08350202974434]
本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。
本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
論文 参考訳(メタデータ) (2020-07-08T02:26:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。