Fugu-MT 論文翻訳(概要): Multi-hypotheses Conditioned Point Cloud Diffusion for 3D Human Reconstruction from Occluded Images

論文の概要: Multi-hypotheses Conditioned Point Cloud Diffusion for 3D Human Reconstruction from Occluded Images

arxiv url: http://arxiv.org/abs/2409.18364v2
Date: Tue, 29 Oct 2024 10:33:50 GMT
ステータス: 処理完了
システム内更新日: 2024-11-06 06:41:07.800195
Title: Multi-hypotheses Conditioned Point Cloud Diffusion for 3D Human Reconstruction from Occluded Images
Title（参考訳）: 付加画像からの3次元再構成のためのマルチハイブリッド条件点雲拡散
Authors: Donghwan Kim, Tae-Kyun Kim,
Abstract要約: 本稿では,確率分布に条件付き点雲拡散を用いた新しいパイプライン MHCDIFF を提案する。従来の暗黙関数に基づく手法と比較して、点雲拡散モデルでは、グローバルな一貫した特徴を捉えて、隠蔽領域を生成することができる。提案手法は,SMPL,暗黙関数,点雲拡散,それらを組み合わせた様々なSOTA法より優れている。
参考スコア（独自算出の注目度）: 34.52816393257062
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: 3D human shape reconstruction under severe occlusion due to human-object or human-human interaction is a challenging problem. Parametric models i.e., SMPL(-X), which are based on the statistics across human shapes, can represent whole human body shapes but are limited to minimally-clothed human shapes. Implicit-function-based methods extract features from the parametric models to employ prior knowledge of human bodies and can capture geometric details such as clothing and hair. However, they often struggle to handle misaligned parametric models and inpaint occluded regions given a single RGB image. In this work, we propose a novel pipeline, MHCDIFF, Multi-hypotheses Conditioned Point Cloud Diffusion, composed of point cloud diffusion conditioned on probabilistic distributions for pixel-aligned detailed 3D human reconstruction under occlusion. Compared to previous implicit-function-based methods, the point cloud diffusion model can capture the global consistent features to generate the occluded regions, and the denoising process corrects the misaligned SMPL meshes. The core of MHCDIFF is extracting local features from multiple hypothesized SMPL(-X) meshes and aggregating the set of features to condition the diffusion model. In the experiments on CAPE and MultiHuman datasets, the proposed method outperforms various SOTA methods based on SMPL, implicit functions, point cloud diffusion, and their combined, under synthetic and real occlusions. Our code is publicly available at https://donghwankim0101.github.io/projects/mhcdiff/ .
Abstract（参考訳）: 人・物・人間・人間の相互作用による重度の閉塞下での3次元形状復元は難しい問題である。 SMPL(-X)のパラメトリックモデルは、人体の形状の統計に基づいており、人体全体の形を表すことができるが、最小限の衣服に限られる。インシシット関数に基づく手法は、人体の事前知識を利用するためにパラメトリックモデルから特徴を抽出し、衣服や毛髪などの幾何学的詳細を捉えることができる。しかし、彼らは1枚のRGB画像が与えられたパラメトリックモデルや非塗装領域を扱うのに苦労することが多い。本研究では,画素配列の詳細な3次元再構成のための確率分布を条件とした点雲拡散を用いたMHCDIFF(multi-hypotheses Conditioned Point Cloud Diffusion)を提案する。従来の暗黙関数に基づく手法と比較して、点雲拡散モデルは、隠蔽領域を生成するためのグローバルな一貫した特徴を捉えることができ、デノナイジングプロセスは、不整合SMPLメッシュを補正する。 MHCDIFFのコアは、複数の仮説SMPL(-X)メッシュから局所的な特徴を抽出し、拡散モデルを条件付けるために特徴セットを集約する。 CAPEとMultiHumanのデータセットを用いた実験では、SMPL、暗黙関数、点雲拡散、およびそれらの組み合わせに基づいて、合成および実オクルージョン下で、様々なSOTA法より優れていた。私たちのコードはhttps://donghwankim0101.github.io/projects/mhcdiff/で公開されています。

関連論文リスト

DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
論文参考訳（メタデータ） (2024-11-16T03:52:23Z)
Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation [32.30055363306321]
本研究では、異なる人間のポーズや形状に関連したタスクやデータセットをシームレスに統一するパラダイムを提案する。私たちの定式化は、トレーニングとテスト時間の両方で、人間の体積の任意の点を問う能力に重点を置いています。メッシュや2D/3Dスケルトン,密度の高いポーズなど,さまざまな注釈付きデータソースを,変換することなく自然に利用することが可能です。
論文参考訳（メタデータ） (2024-07-10T10:44:18Z)
Neural Point Cloud Diffusion for Disentangled 3D Shape and Appearance Generation [29.818827785812086]
コントロール可能な3Dアセットの生成は、映画、ゲーム、エンジニアリングにおけるコンテンツ作成やAR/VRなど、多くの実用的なアプリケーションにとって重要である。本稿では,3次元拡散モデルに対して,ハイブリッド点雲とニューラル放射場アプローチを導入することで,絡み合いを実現するための適切な表現を提案する。
論文参考訳（メタデータ） (2023-12-21T18:46:27Z)
NSF: Neural Surface Fields for Human Modeling from Monocular Depth [46.928496022657185]
スパースデータから動的できめ細かな衣服の変形をモデル化することは困難である。深度データから3次元人間をモデル化するための既存の手法は、計算効率、メッシュコヒーレンシー、解像度とトポロジーの柔軟性に制限がある。本研究では, 単眼深度から3次元布地をモデル化するニューラル表面場を提案する。
論文参考訳（メタデータ） (2023-08-28T19:08:17Z)
Generative Approach for Probabilistic Human Mesh Recovery using Diffusion Models [33.2565018922113]
本研究は、与えられた2次元画像から3次元人体メッシュを再構築する問題に焦点を当てる。拡散に基づくヒューマンメッシュ回復(Diff-HMR)と呼ばれる生成的アプローチフレームワークを提案する。
論文参考訳（メタデータ） (2023-08-05T22:23:04Z)
$PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
論文参考訳（メタデータ） (2023-02-21T13:37:07Z)
Adversarial Parametric Pose Prior [106.12437086990853]
我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
論文参考訳（メタデータ） (2021-12-08T10:05:32Z)
LoopReg: Self-supervised Learning of Implicit Surface Correspondences, Pose and Shape for 3D Human Mesh Registration [123.62341095156611]
LoopRegは、スキャンのコーパスを一般的な3Dモデルに登録するエンドツーエンドの学習フレームワークである。ニューラルネットワークによってパラメータ化された後方マップは、スキャンポイント毎から人間のモデルの表面への対応を予測する。人間のモデルによってパラメータ化されたフォワードマップは、モデルパラメータ(目的と形状)に基づいて対応するポイントをスキャンに変換する。
論文参考訳（メタデータ） (2020-10-23T14:39:50Z)
Monocular, One-stage, Regression of Multiple 3D People [105.3143785498094]
我々は、複数の3D人物(ROMP)のための1段階方式で全てのメッシュを回帰することを提案する。本手法は,体温マップとメッシュマップを同時に予測し,画素レベルの3Dボディメッシュを共同で記述する。最先端の手法と比較して、ROMPは挑戦的なマルチパーソンベンチマークよりも優れた性能を示した。
論文参考訳（メタデータ） (2020-08-27T17:21:47Z)
Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
論文参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。