論文の概要: Reconstructing 3D Human Pose from RGB-D Data with Occlusions

• arxiv url: http://arxiv.org/abs/2310.01228v2
• Date: Sun, 15 Oct 2023 14:48:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 03:09:35.823207
• Title: Reconstructing 3D Human Pose from RGB-D Data with Occlusions
• Title（参考訳）: 閉塞を伴うRGB-Dデータからの3次元人文の再構成
• Authors: Bowen Dang, Xi Zhao, Bowen Zhang, He Wang
• Abstract要約: 本稿では,RGB-D画像から3次元人体をオクルージョンで再構成する手法を提案する。 そこで本研究では,シーン情報と事前知識に基づいて,意味的かつ物理的に妥当な人体を再構築し,解決空間を縮小することを提案する。 提案手法は, ProXデータセットを用いて実験を行い, 提案手法が他の手法と比較して精度が高く, 妥当な結果が得られることを示した。
• 参考スコア（独自算出の注目度）: 11.677978425905096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new method to reconstruct the 3D human body from RGB-D images with occlusions. The foremost challenge is the incompleteness of the RGB-D data due to occlusions between the body and the environment, leading to implausible reconstructions that suffer from severe human-scene penetration. To reconstruct a semantically and physically plausible human body, we propose to reduce the solution space based on scene information and prior knowledge. Our key idea is to constrain the solution space of the human body by considering the occluded body parts and visible body parts separately: modeling all plausible poses where the occluded body parts do not penetrate the scene, and constraining the visible body parts using depth data. Specifically, the first component is realized by a neural network that estimates the candidate region named the "free zone", a region carved out of the open space within which it is safe to search for poses of the invisible body parts without concern for penetration. The second component constrains the visible body parts using the "truncated shadow volume" of the scanned body point cloud. Furthermore, we propose to use a volume matching strategy, which yields better performance than surface matching, to match the human body with the confined region. We conducted experiments on the PROX dataset, and the results demonstrate that our method produces more accurate and plausible results compared with other methods.
• Abstract（参考訳）: 本稿では,RGB-D画像からの3次元人体再構築手法を提案する。 最大の課題は、体と環境の間の閉塞によるRGB-Dデータの不完全性であり、重度の人為的侵入に苦しむ不確実な再建につながる。 意味的・物理的に有理な人体を再構築するために,シーン情報と事前知識に基づく解空間の削減を提案する。 我々のキーとなる考え方は、隠蔽された身体部分と可視な身体部分とを別々に考慮し、隠蔽された身体部分がシーンに浸透しないようなすべての可視的なポーズをモデル化し、奥行きデータを用いて可視な身体部分を制限することである。 具体的には、第1のコンポーネントは「フリーゾーン」と呼ばれる候補領域を推定するニューラルネットワークによって実現される。 第2のコンポーネントは、スキャンされたボディーポイント雲の「差し込み影ボリューム」を使用して、可視体部分を制限する。 さらに,人体と閉じ込められた領域をマッチングするために,表面マッチングよりも優れた性能を示すボリュームマッチング戦略を提案する。 提案手法はproxデータセット上で実験を行い,他の手法と比較して精度が高く,妥当な結果が得られることを示した。

関連論文リスト

• Kinematics-based 3D Human-Object Interaction Reconstruction from Single View [10.684643503514849]
  既存の方法は、単に身体のポーズを単に屋内データセットのネットワークトレーニングに依存するだけである。 本研究では,人体の関節を人体接触領域へ正確に駆動するキネマティクスに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T05:44:35Z)
• Divide and Fuse: Body Part Mesh Recovery from Partially Visible Human Images [57.479339658504685]
  ディバイドとフューズ」戦略は、人体部分を融合する前に独立して再構築する。 Human Part Parametric Models (HPPM) は、いくつかの形状とグローバルな位置パラメータからメッシュを独立に再構築する。 特別に設計された融合モジュールは、一部しか見えない場合でも、再建された部品をシームレスに統合する。
  論文  参考訳（メタデータ） (2024-07-12T21:29:11Z)
• AiOS: All-in-One-Stage Expressive Human Pose and Shape Estimation [55.179287851188036]
  人間のポーズと形状の復元のための新しいオールインワンステージフレームワークであるAiOSを、追加の人間検出ステップなしで導入する。 まず、画像中の人間の位置を探索し、各インスタンスのグローバルな機能をエンコードするために、人間のトークンを使用します。 そして、画像中の人間の関節を探索し、きめ細かい局所的特徴を符号化するジョイント関連トークンを導入する。
  論文  参考訳（メタデータ） (2024-03-26T17:59:23Z)
• Zolly: Zoom Focal Length Correctly for Perspective-Distorted Human Mesh Reconstruction [66.10717041384625]
  Zollyは、視点歪みの画像に焦点を当てた最初の3DHMR法である。 人体の2次元密度ゆらぎスケールを記述した新しいカメラモデルと新しい2次元歪み画像を提案する。 このタスク用に調整された2つの現実世界のデータセットを拡張します。
  論文  参考訳（メタデータ） (2023-03-24T04:22:41Z)
• BoPR: Body-aware Part Regressor for Human Shape and Pose Estimation [16.38936587088618]
  提案手法であるBoPR(Body-Aware Part Regressor)は,まず注意誘導機構を用いて身体と部分の両方の特徴を抽出する。 次に、これらの機能を使用して、部分単位のレグレッションに余分な部分ボディ依存性をエンコードします。
  論文  参考訳（メタデータ） (2023-03-21T08:36:59Z)
• Adjustable Method Based on Body Parts for Improving the Accuracy of 3D Reconstruction in Visually Important Body Parts from Silhouettes [4.378411442784295]
  本研究は,前後のシルエットから立体形状を復元する新しい調整可能なアルゴリズムを提案する。 まず,両視点の身体分割を用いて,対応する身体部分を認識する。 次に,各部位を2次元剛性登録で整列し,ペアマッチングを用いてマッチングする。
  論文  参考訳（メタデータ） (2022-11-27T13:25:02Z)
• UNIF: United Neural Implicit Functions for Clothed Human Reconstruction and Animation [53.2018423391591]
  そこで本稿では, 生スキャンと骨格を入力として, 人体再構成とアニメーションのパートベース手法を提案する。 本手法は, 部品の監督ではなく, 身体の動きから部品の分離を学習し, 布を被った人間や他の関節の物体に拡張することができる。
  論文  参考訳（メタデータ） (2022-07-20T11:41:29Z)
• Total Scale: Face-to-Body Detail Reconstruction from Sparse RGBD Sensors [52.38220261632204]
  PIFuをベースとした再建術では, 顔面の平坦化が頻発する。 再建した顔のディテールの質を高めるために,2段階のPIFu表現を提案する。 顔の鮮明な細部と身体形状の変形におけるアプローチの有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2021-12-03T18:46:49Z)
• Multimodal In-bed Pose and Shape Estimation under the Blankets [77.12439296395733]
  マルチモーダルセンサが捉えた知識を最大限活用するために,様々なモダリティを融合するピラミッド方式を提案する。 我々は注意に基づく再構築モジュールを用いて検出されたモダリティを生成し,現在の推定値を更新するためにさらに融合する。
  論文  参考訳（メタデータ） (2020-12-12T05:35:23Z)
• Reposing Humans by Warping 3D Features [18.688568898013482]
  人間の画像から密集した特徴量について暗黙的に学習することを提案する。 ボリュームは畳み込みデコーダによってRGB空間にマッピングされる。 DeepFashionとiPERベンチマークの最先端結果は、密度の高い人間の表現が調査に値することを示している。
  論文  参考訳（メタデータ） (2020-06-08T19:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。