論文の概要: Reconstructing 3D Human Pose from RGB-D Data with Occlusions
- arxiv url: http://arxiv.org/abs/2310.01228v2
- Date: Sun, 15 Oct 2023 14:48:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 03:09:35.823207
- Title: Reconstructing 3D Human Pose from RGB-D Data with Occlusions
- Title(参考訳): 閉塞を伴うRGB-Dデータからの3次元人文の再構成
- Authors: Bowen Dang, Xi Zhao, Bowen Zhang, He Wang
- Abstract要約: 本稿では,RGB-D画像から3次元人体をオクルージョンで再構成する手法を提案する。
そこで本研究では,シーン情報と事前知識に基づいて,意味的かつ物理的に妥当な人体を再構築し,解決空間を縮小することを提案する。
提案手法は, ProXデータセットを用いて実験を行い, 提案手法が他の手法と比較して精度が高く, 妥当な結果が得られることを示した。
- 参考スコア(独自算出の注目度): 11.677978425905096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new method to reconstruct the 3D human body from RGB-D images
with occlusions. The foremost challenge is the incompleteness of the RGB-D data
due to occlusions between the body and the environment, leading to implausible
reconstructions that suffer from severe human-scene penetration. To reconstruct
a semantically and physically plausible human body, we propose to reduce the
solution space based on scene information and prior knowledge. Our key idea is
to constrain the solution space of the human body by considering the occluded
body parts and visible body parts separately: modeling all plausible poses
where the occluded body parts do not penetrate the scene, and constraining the
visible body parts using depth data. Specifically, the first component is
realized by a neural network that estimates the candidate region named the
"free zone", a region carved out of the open space within which it is safe to
search for poses of the invisible body parts without concern for penetration.
The second component constrains the visible body parts using the "truncated
shadow volume" of the scanned body point cloud. Furthermore, we propose to use
a volume matching strategy, which yields better performance than surface
matching, to match the human body with the confined region. We conducted
experiments on the PROX dataset, and the results demonstrate that our method
produces more accurate and plausible results compared with other methods.
- Abstract(参考訳): 本稿では,RGB-D画像からの3次元人体再構築手法を提案する。
最大の課題は、体と環境の間の閉塞によるRGB-Dデータの不完全性であり、重度の人為的侵入に苦しむ不確実な再建につながる。
意味的・物理的に有理な人体を再構築するために,シーン情報と事前知識に基づく解空間の削減を提案する。
我々のキーとなる考え方は、隠蔽された身体部分と可視な身体部分とを別々に考慮し、隠蔽された身体部分がシーンに浸透しないようなすべての可視的なポーズをモデル化し、奥行きデータを用いて可視な身体部分を制限することである。
具体的には、第1のコンポーネントは「フリーゾーン」と呼ばれる候補領域を推定するニューラルネットワークによって実現される。
第2のコンポーネントは、スキャンされたボディーポイント雲の「差し込み影ボリューム」を使用して、可視体部分を制限する。
さらに,人体と閉じ込められた領域をマッチングするために,表面マッチングよりも優れた性能を示すボリュームマッチング戦略を提案する。
提案手法はproxデータセット上で実験を行い,他の手法と比較して精度が高く,妥当な結果が得られることを示した。
関連論文リスト
- DECO: Dense Estimation of 3D Human-Scene Contact In The Wild [54.44345845842109]
SMPL体上の接触を推定するために、身体部分駆動とシーンコンテキスト駆動の両方の注意を用いた新しい3D接触検出器を訓練する。
すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。
また、DECが自然画像における多様で挑戦的な現実世界の人間のインタラクションによく当てはまることを定性的に示す。
論文 参考訳(メタデータ) (2023-09-26T21:21:07Z) - Probabilistic Human Mesh Recovery in 3D Scenes from Egocentric Views [32.940614931864154]
身体のポーズ分布をモデル化するシーン条件拡散法を提案する。
この方法は、可塑性ヒトとシーンの相互作用において体を生成する。
目に見える関節の精度と、目に見えない身体の部分の多様性に優れる。
論文 参考訳(メタデータ) (2023-04-12T17:58:57Z) - Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh
Reconstruction [66.10717041384625]
Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。
人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。
このタスク用に調整された2つの現実世界のデータセットを拡張します。
論文 参考訳(メタデータ) (2023-03-24T04:22:41Z) - BoPR: Body-aware Part Regressor for Human Shape and Pose Estimation [16.38936587088618]
提案手法であるBoPR(Body-Aware Part Regressor)は,まず注意誘導機構を用いて身体と部分の両方の特徴を抽出する。
次に、これらの機能を使用して、部分単位のレグレッションに余分な部分ボディ依存性をエンコードします。
論文 参考訳(メタデータ) (2023-03-21T08:36:59Z) - Adjustable Method Based on Body Parts for Improving the Accuracy of 3D
Reconstruction in Visually Important Body Parts from Silhouettes [4.378411442784295]
本研究は,前後のシルエットから立体形状を復元する新しい調整可能なアルゴリズムを提案する。
まず,両視点の身体分割を用いて,対応する身体部分を認識する。
次に,各部位を2次元剛性登録で整列し,ペアマッチングを用いてマッチングする。
論文 参考訳(メタデータ) (2022-11-27T13:25:02Z) - UNIF: United Neural Implicit Functions for Clothed Human Reconstruction
and Animation [53.2018423391591]
そこで本稿では, 生スキャンと骨格を入力として, 人体再構成とアニメーションのパートベース手法を提案する。
本手法は, 部品の監督ではなく, 身体の動きから部品の分離を学習し, 布を被った人間や他の関節の物体に拡張することができる。
論文 参考訳(メタデータ) (2022-07-20T11:41:29Z) - Total Scale: Face-to-Body Detail Reconstruction from Sparse RGBD Sensors [52.38220261632204]
PIFuをベースとした再建術では, 顔面の平坦化が頻発する。
再建した顔のディテールの質を高めるために,2段階のPIFu表現を提案する。
顔の鮮明な細部と身体形状の変形におけるアプローチの有効性を実験的に検証した。
論文 参考訳(メタデータ) (2021-12-03T18:46:49Z) - StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision [54.920605385622274]
本研究では,立体視の幾何学的制約をPIFuの暗黙的関数表現と統合し,人間の3次元形状を復元するStereoPIFuを提案する。
従来の作品と比較すると, ステレオピフは衣服によるヒト再建のロバスト性, 完全性, 正確性が著しく向上した。
論文 参考訳(メタデータ) (2021-04-12T08:41:54Z) - Multimodal In-bed Pose and Shape Estimation under the Blankets [77.12439296395733]
マルチモーダルセンサが捉えた知識を最大限活用するために,様々なモダリティを融合するピラミッド方式を提案する。
我々は注意に基づく再構築モジュールを用いて検出されたモダリティを生成し,現在の推定値を更新するためにさらに融合する。
論文 参考訳(メタデータ) (2020-12-12T05:35:23Z) - Reposing Humans by Warping 3D Features [18.688568898013482]
人間の画像から密集した特徴量について暗黙的に学習することを提案する。
ボリュームは畳み込みデコーダによってRGB空間にマッピングされる。
DeepFashionとiPERベンチマークの最先端結果は、密度の高い人間の表現が調査に値することを示している。
論文 参考訳(メタデータ) (2020-06-08T19:31:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。