論文の概要: Gaussian Control with Hierarchical Semantic Graphs in 3D Human Recovery
- arxiv url: http://arxiv.org/abs/2405.12477v2
- Date: Mon, 10 Jun 2024 14:15:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-11 23:45:08.705426
- Title: Gaussian Control with Hierarchical Semantic Graphs in 3D Human Recovery
- Title(参考訳): 階層的セマンティックグラフを用いた3次元復元におけるガウス制御
- Authors: Hongsheng Wang, Weiyue Zhang, Sihao Liu, Xinrui Zhou, Jing Li, Zhanyun Tang, Shengyu Zhang, Fei Wu, Feng Lin,
- Abstract要約: 高忠実度3次元再構成を実現するための階層型人ガウス制御(HUGS)フレームワークを提案する。
我々のアプローチは、幾何学的トポロジーの整合性を確保するために、身体部分の明示的な意味的先行性を活用することである。
本手法は, 人体再建における優れた性能, 特に表面の細部を向上し, 体部接合部を正確に再構築する上での優れた性能を示す。
- 参考スコア(独自算出の注目度): 15.58274601909995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although 3D Gaussian Splatting (3DGS) has recently made progress in 3D human reconstruction, it primarily relies on 2D pixel-level supervision, overlooking the geometric complexity and topological relationships of different body parts. To address this gap, we introduce the Hierarchical Graph Human Gaussian Control (HUGS) framework for achieving high-fidelity 3D human reconstruction. Our approach involves leveraging explicitly semantic priors of body parts to ensure the consistency of geometric topology, thereby enabling the capture of the complex geometrical and topological associations among body parts. Additionally, we disentangle high-frequency features from global human features to refine surface details in body parts. Extensive experiments demonstrate that our method exhibits superior performance in human body reconstruction, particularly in enhancing surface details and accurately reconstructing body part junctions. Codes are available at https://wanghongsheng01.github.io/HUGS/.
- Abstract(参考訳): 3D Gaussian Splatting (3DGS)は、最近3Dの人間の再構築に進歩を遂げているが、主に2Dピクセルレベルの監視に依存しており、異なる部位の幾何学的複雑さとトポロジ的関係を見越している。
このギャップに対処するために,高忠実度3次元再構成を実現するための階層型人ガウス制御(HUGS)フレームワークを導入する。
我々のアプローチは、幾何学的トポロジーの整合性を確保するために、身体部分の明確な意味的先行を活用することにより、身体部分間の複雑な幾何学的およびトポロジ的関連の捕捉を可能にする。
さらに,大域的な人体の特徴から高周波の特徴を引き離し,表面の細部を洗練させる。
広範囲な実験により,本手法は人体再建において優れた性能を示し,特に表面の細部の改善と体部接合部の精密再構築に有効であることが示された。
コードはhttps://wanghongsheng01.github.io/HUGS/で公開されている。
関連論文リスト
- Learning Part-aware 3D Representations by Fusing 2D Gaussians and Superquadrics [16.446659867133977]
ポイントクラウド、メッシュ、NeRF、そして3Dガウスのような低レベルの3D表現は、一般的に3Dオブジェクトやシーンを表現するために使用される。
オブジェクトやシーンをセマンティックな部分に解析する部分認識型3D再構成の実現を目指している。
論文 参考訳(メタデータ) (2024-08-20T12:30:37Z) - GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。
本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。
実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
論文 参考訳(メタデータ) (2024-03-15T12:24:36Z) - 3D Reconstruction of Interacting Multi-Person in Clothing from a Single Image [8.900009931200955]
本稿では,1つの画像からグローバルなコヒーレントなシーン空間上の衣服の多人数インタラクションの形状を再構築する,新しいパイプラインを提案する。
この課題を克服するために、人間の2つの先駆体を完全な3次元形状と表面接触に活用する。
その結果,本手法は既存の手法と比較して完全で,グローバルに一貫性があり,物理的に妥当であることがわかった。
論文 参考訳(メタデータ) (2024-01-12T07:23:02Z) - Hierarchical Graph Networks for 3D Human Pose Estimation [50.600944798627786]
最近の2次元から3次元の人間のポーズ推定は、人間の骨格のトポロジーによって形成されたグラフ構造を利用する傾向がある。
この骨格トポロジーは体の構造を反映するには小さすぎるため、重度の2次元から3次元のあいまいさに悩まされていると我々は主張する。
本稿では,これらの弱点を克服するために,新しいグラフ畳み込みネットワークアーキテクチャである階層グラフネットワークを提案する。
論文 参考訳(メタデータ) (2021-11-23T15:09:03Z) - UltraPose: Synthesizing Dense Pose with 1 Billion Points by Human-body
Decoupling 3D Model [58.70130563417079]
我々は,身体の発生を自由に制御できる,一連の分離されたパラメータを持つ新しい3次元人体モデルを導入する。
既存の手動注釈付きDensePose-COCOデータセットと比較して、合成されたUltraPoseは、アノテーションのコストと誤差を伴わずに、超高密度な画像-地上対応を持つ。
論文 参考訳(メタデータ) (2021-10-28T16:24:55Z) - DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to
the Third Dimension [71.71234436165255]
DensePose 3Dは2次元画像アノテーションのみから弱い教師付きで再構築を学習できる手法である。
3Dスキャンを必要としないため、DensePose 3Dは異なる動物種などの幅広いカテゴリーの学習に利用できる。
我々は,人間と動物のカテゴリーの合成データと実データの両方をベースラインとして,最先端の非剛体構造と比較し,顕著な改善を示した。
論文 参考訳(メタデータ) (2021-08-31T18:33:55Z) - DC-GNet: Deep Mesh Relation Capturing Graph Convolution Network for 3D
Human Shape Reconstruction [1.290382979353427]
本稿では,3次元形状復元のための形状補完タスクを備えたディープメッシュ・リレーション・キャプチャーグラフ・コンボリューション・ネットワーク(DC-GNet)を提案する。
我々のアプローチは、より遠い領域のノード間のより微妙な関係からメッシュ構造を符号化する。
形状完了モジュールは,屋外シーンの性能劣化問題を軽減する。
論文 参考訳(メタデータ) (2021-08-27T16:43:32Z) - HMOR: Hierarchical Multi-Person Ordinal Relations for Monocular
Multi-Person 3D Pose Estimation [54.23770284299979]
本稿では, 階層型多人数常連関係(HMOR)を新たに導入する。
HMORは相互作用情報を階層的に深さと角度の順序関係として符号化する。
統合トップダウンモデルは、学習プロセスにおけるこれらの順序関係を活用するように設計されている。
提案手法は, 公開されている多人数の3Dポーズデータセットにおいて, 最先端の手法を著しく上回っている。
論文 参考訳(メタデータ) (2020-08-01T07:53:27Z) - Learning Unsupervised Hierarchical Part Decomposition of 3D Objects from
a Single RGB Image [102.44347847154867]
プリミティブの集合として3次元オブジェクトの幾何を共同で復元できる新しい定式化を提案する。
我々のモデルは、プリミティブのバイナリツリーの形で、様々なオブジェクトの高レベルな構造的分解を復元する。
ShapeNet と D-FAUST のデータセットを用いた実験により,部品の組織化を考慮すれば3次元形状の推論が容易になることが示された。
論文 参考訳(メタデータ) (2020-04-02T17:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。