論文の概要: Multi-hypotheses Conditioned Point Cloud Diffusion for 3D Human Reconstruction from Occluded Images
- arxiv url: http://arxiv.org/abs/2409.18364v2
- Date: Fri, 04 Oct 2024 02:50:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:08:22.505008
- Title: Multi-hypotheses Conditioned Point Cloud Diffusion for 3D Human Reconstruction from Occluded Images
- Title(参考訳): 付加画像からの3次元再構成のためのマルチハイブリッド条件点雲拡散
- Authors: Donghwan Kim, Tae-Kyun Kim,
- Abstract要約: 本稿では,確率分布に条件付き点雲拡散を用いた新しいパイプライン MHCDIFF を提案する。
従来の暗黙関数に基づく手法と比較して、点雲拡散モデルでは、グローバルな一貫した特徴を捉えて、隠蔽領域を生成することができる。
提案手法は,SMPL,暗黙関数,点雲拡散,それらを組み合わせた様々なSOTA法より優れている。
- 参考スコア(独自算出の注目度): 34.52816393257062
- License:
- Abstract: 3D human shape reconstruction under severe occlusion due to human-object or human-human interaction is a challenging problem. Parametric models i.e., SMPL(-X), which are based on the statistics across human shapes, can represent whole human body shapes but are limited to minimally-clothed human shapes. Implicit-function-based methods extract features from the parametric models to employ prior knowledge of human bodies and can capture geometric details such as clothing and hair. However, they often struggle to handle misaligned parametric models and inpaint occluded regions given a single RGB image. In this work, we propose a novel pipeline, MHCDIFF, Multi-hypotheses Conditioned Point Cloud Diffusion, composed of point cloud diffusion conditioned on probabilistic distributions for pixel-aligned detailed 3D human reconstruction under occlusion. Compared to previous implicit-function-based methods, the point cloud diffusion model can capture the global consistent features to generate the occluded regions, and the denoising process corrects the misaligned SMPL meshes. The core of MHCDIFF is extracting local features from multiple hypothesized SMPL(-X) meshes and aggregating the set of features to condition the diffusion model. In the experiments on CAPE and MultiHuman datasets, the proposed method outperforms various SOTA methods based on SMPL, implicit functions, point cloud diffusion, and their combined, under synthetic and real occlusions. Our code is publicly available at https://donghwankim0101.github.io/projects/mhcdiff/ .
- Abstract(参考訳): 人・物・人間・人間の相互作用による重度の閉塞下での3次元形状復元は難しい問題である。
SMPL(-X)のパラメトリックモデルは、人体の形状の統計に基づいており、人体全体の形を表すことができるが、最小限の衣服に限られる。
インシシット関数に基づく手法は、人体の事前知識を利用するためにパラメトリックモデルから特徴を抽出し、衣服や毛髪などの幾何学的詳細を捉えることができる。
しかし、彼らは1枚のRGB画像が与えられたパラメトリックモデルや非塗装領域を扱うのに苦労することが多い。
本研究では,画素配列の詳細な3次元再構成のための確率分布を条件とした点雲拡散を用いたMHCDIFF(multi-hypotheses Conditioned Point Cloud Diffusion)を提案する。
従来の暗黙関数に基づく手法と比較して、点雲拡散モデルは、隠蔽領域を生成するためのグローバルな一貫した特徴を捉えることができ、デノナイジングプロセスは、不整合SMPLメッシュを補正する。
MHCDIFFのコアは、複数の仮説SMPL(-X)メッシュから局所的な特徴を抽出し、拡散モデルを条件付けるために特徴セットを集約する。
CAPEとMultiHumanのデータセットを用いた実験では、SMPL、暗黙関数、点雲拡散、およびそれらの組み合わせに基づいて、合成および実オクルージョン下で、様々なSOTA法より優れていた。
私たちのコードはhttps://donghwankim0101.github.io/projects/mhcdiff/で公開されています。
関連論文リスト
- Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation [32.30055363306321]
本研究では、異なる人間のポーズや形状に関連したタスクやデータセットをシームレスに統一するパラダイムを提案する。
私たちの定式化は、トレーニングとテスト時間の両方で、人間の体積の任意の点を問う能力に重点を置いています。
メッシュや2D/3Dスケルトン,密度の高いポーズなど,さまざまな注釈付きデータソースを,変換することなく自然に利用することが可能です。
論文 参考訳(メタデータ) (2024-07-10T10:44:18Z) - An Embeddable Implicit IUVD Representation for Part-based 3D Human Surface Reconstruction [22.349648542401805]
単一の画像から3次元の人体表面を再構築するには、人間のポーズ、形状、衣服の詳細を同時に検討することが重要である。
最近のアプローチでは、身体のポーズと形状をキャプチャするパラメトリックボディモデル(SMPLなど)が組み合わされている。
本稿では,IUVD占有関数とフィードバッククエリアルゴリズムからなる新しいIUVD-Feedback表現を提案する。
論文 参考訳(メタデータ) (2024-01-30T08:14:04Z) - Neural Point Cloud Diffusion for Disentangled 3D Shape and Appearance Generation [29.818827785812086]
コントロール可能な3Dアセットの生成は、映画、ゲーム、エンジニアリングにおけるコンテンツ作成やAR/VRなど、多くの実用的なアプリケーションにとって重要である。
本稿では,3次元拡散モデルに対して,ハイブリッド点雲とニューラル放射場アプローチを導入することで,絡み合いを実現するための適切な表現を提案する。
論文 参考訳(メタデータ) (2023-12-21T18:46:27Z) - D-SCo: Dual-Stream Conditional Diffusion for Monocular Hand-Held Object Reconstruction [74.49121940466675]
モノクローナルハンドヘルドオブジェクト再構成のためのCentroid-fixed dual-stream conditionalfusionを導入する。
まず、対象のセントロイドがずれることを避けるために、手動制約付きセントロイド固定パラダイムを用いる。
第2に、意味的および幾何学的に手動物体の相互作用をモデル化するための二重ストリームデノイザを導入する。
論文 参考訳(メタデータ) (2023-11-23T20:14:50Z) - Generative Approach for Probabilistic Human Mesh Recovery using
Diffusion Models [33.2565018922113]
本研究は、与えられた2次元画像から3次元人体メッシュを再構築する問題に焦点を当てる。
拡散に基づくヒューマンメッシュ回復(Diff-HMR)と呼ばれる生成的アプローチフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-05T22:23:04Z) - Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。
われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。
LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
論文 参考訳(メタデータ) (2022-05-12T17:55:51Z) - Adversarial Parametric Pose Prior [106.12437086990853]
我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。
得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
論文 参考訳(メタデータ) (2021-12-08T10:05:32Z) - 3D Multi-bodies: Fitting Sets of Plausible 3D Human Models to Ambiguous
Image Data [77.57798334776353]
単眼・部分閉塞視からヒトの高密度3次元再構成を実現することの問題点を考察する。
身体の形状やポーズをパラメータ化することで、あいまいさをより効果的にモデル化できることを示唆する。
提案手法は, 3次元人間の標準ベンチマークにおいて, あいまいなポーズ回復において, 代替手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-11-02T13:55:31Z) - Combining Implicit Function Learning and Parametric Models for 3D Human
Reconstruction [123.62341095156611]
深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。
このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。
詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
論文 参考訳(メタデータ) (2020-07-22T13:46:14Z) - PaMIR: Parametric Model-Conditioned Implicit Representation for
Image-based Human Reconstruction [67.08350202974434]
本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。
本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
論文 参考訳(メタデータ) (2020-07-08T02:26:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。