論文の概要: GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2401.09720v1
- Date: Thu, 18 Jan 2024 04:48:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 17:59:32.199801
- Title: GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting
- Title(参考訳): Gaussian Body: 3d Gaussian Splattingによる衣服の復元
- Authors: Mengtian Li, Shengxiang Yao, Zhifeng Xie, Keyu Chen, Yu-Gang Jiang
- Abstract要約: 本稿では,3次元ガウシアンスプラッティングをベースとした,ガウシアンボディと呼ばれる新しい布地復元手法を提案する。
静的な3次元ガウススメッティングモデルを動的復元問題に適用することは、複雑な非剛性変形とリッチな布の細部のために非自明である。
本手法は,ダイナミックな衣料人体に高精細な画質で,最先端のフォトリアリスティックなノベルビューレンダリングを実現できることを示す。
- 参考スコア(独自算出の注目度): 58.67181672412564
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose a novel clothed human reconstruction method called
GaussianBody, based on 3D Gaussian Splatting. Compared with the costly neural
radiance based models, 3D Gaussian Splatting has recently demonstrated great
performance in terms of training time and rendering quality. However, applying
the static 3D Gaussian Splatting model to the dynamic human reconstruction
problem is non-trivial due to complicated non-rigid deformations and rich cloth
details. To address these challenges, our method considers explicit pose-guided
deformation to associate dynamic Gaussians across the canonical space and the
observation space, introducing a physically-based prior with regularized
transformations helps mitigate ambiguity between the two spaces. During the
training process, we further propose a pose refinement strategy to update the
pose regression for compensating the inaccurate initial estimation and a
split-with-scale mechanism to enhance the density of regressed point clouds.
The experiments validate that our method can achieve state-of-the-art
photorealistic novel-view rendering results with high-quality details for
dynamic clothed human bodies, along with explicit geometry reconstruction.
- Abstract(参考訳): そこで本研究では,3次元ガウシアンスプレイティングをベースとした,ガウシアンボディと呼ばれる新しい布地復元手法を提案する。
3D Gaussian Splattingは、高価なニューラルラディアンスベースモデルと比較して、トレーニング時間とレンダリング品質の点で、最近優れたパフォーマンスを示している。
しかし, 動的復元問題に対する静的な3次元ガウススティングモデルの適用は, 複雑な非剛性変形とリッチな布の細部により容易ではない。
これらの課題に対処するため,本手法では,標準空間と観測空間をまたいで動的ガウスを関連付けるために,明示的なポーズ誘導変形を考える。
訓練中,不正確な初期推定を補償するためのポーズ回帰を更新するポーズ改善戦略と,回帰点雲の密度を高めるためのスプリット・ア・スケール機構を提案する。
提案手法は, ダイナミックな布を被る人体に対して, 鮮明な幾何学的再構成とともに, 高品質な細部を施した, 最先端のフォトリアリスティックなノベルビューレンダリングを実現できることを示す。
関連論文リスト
- Gaussian Opacity Fields: Efficient and Compact Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質でコンパクトな表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳(メタデータ) (2024-04-16T17:57:19Z) - SplatFace: Gaussian Splat Face Reconstruction Leveraging an Optimizable Surface [7.052369521411523]
SplatFaceは3次元人間の顔再構成のための新しいガウススプレイティングフレームワークであり、正確な事前決定幾何に依存しない。
本手法は,高品質な新規ビューレンダリングと高精度な3Dメッシュ再構成の両方を同時に実現するように設計されている。
論文 参考訳(メタデータ) (2024-03-27T17:32:04Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳(メタデータ) (2024-03-18T03:46:26Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳(メタデータ) (2024-02-07T12:36:54Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - Neural Parametric Gaussians for Monocular Non-Rigid Object Reconstruction [8.260048622127913]
モノクロビデオから動的オブジェクトを再構築することは、過小評価され難解な問題である。
本稿では,2段階のアプローチを取り入れたニューラルパラメトリックガウス(NPG)を提案する。
NPGは、特にマルチビューの手がかりがほとんどない挑戦的なシナリオにおいて、以前の研究よりも優れた結果が得られる。
論文 参考訳(メタデータ) (2023-12-02T18:06:24Z) - SplatArmor: Articulated Gaussian splatting for animatable humans from
monocular RGB videos [15.74530749823217]
SplatArmorは, 3次元ガウスモデルを用いたパラメータ化ボディモデルの装甲により, 詳細かつアニマタブルな人体モデルを復元する新しい手法である。
我々のアプローチは、人間を標準空間内の3次元ガウスの集合として表現し、その記述は、下層のSMPL幾何学のスキン化を拡張することによって定義される。
ZJU MoCap と People Snapshot のデータセットに魅力的な結果が得られた。
論文 参考訳(メタデータ) (2023-11-17T18:47:07Z) - Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。
本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。
微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文 参考訳(メタデータ) (2023-09-22T16:04:02Z) - Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。
我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。
我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
論文 参考訳(メタデータ) (2020-08-16T13:38:41Z) - PaMIR: Parametric Model-Conditioned Implicit Representation for
Image-based Human Reconstruction [67.08350202974434]
本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。
本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
論文 参考訳(メタデータ) (2020-07-08T02:26:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。