論文の概要: Utilizing Uncertainty in 2D Pose Detectors for Probabilistic 3D Human Mesh Recovery

• arxiv url: http://arxiv.org/abs/2411.16289v1
• Date: Mon, 25 Nov 2024 11:13:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:20:24.272219
• Title: Utilizing Uncertainty in 2D Pose Detectors for Probabilistic 3D Human Mesh Recovery
• Title（参考訳）: 確率的3次元メッシュ回復のための2次元ポス検出器の不確かさの利用
• Authors: Tom Wehrbein, Marco Rudolph, Bodo Rosenhahn, Bastian Wandt,
• Abstract要約: 確率論的アプローチは 有望な3次元メッシュ上の分布を学習する この目的関数だけでは、全分布を捉えるのに十分ではないことを示す。 トレーニング中,被験者のセグメンテーションマスクを利用することで,不正なサンプルの数を著しく削減できることを実証した。
• 参考スコア（独自算出の注目度）: 23.473909489868454
• License:
• Abstract: Monocular 3D human pose and shape estimation is an inherently ill-posed problem due to depth ambiguities, occlusions, and truncations. Recent probabilistic approaches learn a distribution over plausible 3D human meshes by maximizing the likelihood of the ground-truth pose given an image. We show that this objective function alone is not sufficient to best capture the full distributions. Instead, we propose to additionally supervise the learned distributions by minimizing the distance to distributions encoded in heatmaps of a 2D pose detector. Moreover, we reveal that current methods often generate incorrect hypotheses for invisible joints which is not detected by the evaluation protocols. We demonstrate that person segmentation masks can be utilized during training to significantly decrease the number of invalid samples and introduce two metrics to evaluate it. Our normalizing flow-based approach predicts plausible 3D human mesh hypotheses that are consistent with the image evidence while maintaining high diversity for ambiguous body parts. Experiments on 3DPW and EMDB show that we outperform other state-of-the-art probabilistic methods. Code is available for research purposes at https://github.com/twehrbein/humr.
• Abstract（参考訳）: 単眼的な3次元ポーズと形状推定は、深さのあいまいさ、閉塞性、切り離しによる本質的に不適切な問題である。 近年の確率論的アプローチは、画像が与えられた地表面のポーズの可能性を最大化することにより、可塑性3次元メッシュ上の分布を学習する。 この目的関数だけでは、全分布を捉えるのに十分ではないことを示す。 代わりに,2次元ポーズ検出器のヒートマップに符号化された分布への距離を最小化することにより,学習した分布の監視も行うことを提案する。 さらに,本手法は, 評価プロトコルで検出されていない目視関節に対して, しばしば誤った仮説を生じさせることが判明した。 トレーニング中, 被験者のセグメンテーションマスクを用いて, 不正サンプルの数を著しく減らし, 評価に2つの指標を導入することを実証した。 我々の正規化フローベースアプローチは、不明瞭な身体部位に対して高い多様性を維持しながら、画像証拠と整合性のある3次元メッシュ仮説を予測できる。 3DPWとEMDBの実験では、他の最先端の確率的手法よりも優れていた。 コードはhttps://github.com/twehrbein/humr.comで研究目的で公開されている。

関連論文リスト

• CondiMen: Conditional Multi-Person Mesh Recovery [0.0]
  本研究ではコンディメン(CondiMen)を提案する。コンディメン(CondiMen)は、カメラへのポーズ、体形、内在性、距離に関する共同パラメトリック分布を出力する手法である。 私たちのモデルは、最先端技術と同等以上のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-12-17T16:22:56Z)
• X as Supervision: Contending with Depth Ambiguity in Unsupervised Monocular 3D Pose Estimation [12.765995624408557]
  マルチハイポテーシス検出と複数の調整済みプレテキストタスクを特徴とする教師なしフレームワークを提案する。 ローカルウィンドウ内のヒートマップから複数の仮説を抽出し、マルチソリューション問題を効果的に管理する。 プリテキストタスクは、SMPLモデルからの3D人間の事前情報を利用して、ポーズ推定の解空間を規則化し、それを3D人間の構造を経験的分布と整合させる。
  論文  参考訳（メタデータ） (2024-11-20T04:18:11Z)
• HuManiFlow: Ancestor-Conditioned Normalising Flows on SO(3) Manifolds for Human Pose and Shape Distribution Estimation [27.14060158187953]
  近年のアプローチでは、画像上に条件付き3次元ポーズと形状パラメータの確率分布が予測されている。 これらの手法が3つの重要な特性のトレードオフを示すことを示す。 我々の手法であるHuManiFlowは、同時に正確で一貫性があり多様な分布を予測する。
  論文  参考訳（メタデータ） (2023-05-11T16:49:19Z)
• Diffusion-Based 3D Human Pose Estimation with Multi-Hypothesis Aggregation [64.874000550443]
  ジョイントワイズ・リジェクション・ベース・マルチハイブリッド・アグリゲーション(JPMA)を用いた拡散型3次元ポス推定法を提案する。 提案したJPMAは,D3DPが生成する複数の仮説を1つの3次元ポーズにまとめて実用的に利用する。 提案手法は, 最先端の決定論的アプローチと確率論的アプローチをそれぞれ1.5%, 8.9%上回った。
  論文  参考訳（メタデータ） (2023-03-21T04:00:47Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Probabilistic Monocular 3D Human Pose Estimation with Normalizing Flows [24.0966076588569]
  本稿では,不明瞭な逆2D-to-3D問題を解くために,決定論的3D-to-2Dマッピングを利用する正規化フローベース手法を提案する。 我々は、Human3.6MとMPI-INF-3DHPの2つのベンチマークデータセットに対するアプローチを評価し、ほとんどの指標において同等の手法を上回りました。
  論文  参考訳（メタデータ） (2021-07-29T07:33:14Z)
• 3D Multi-bodies: Fitting Sets of Plausible 3D Human Models to Ambiguous Image Data [77.57798334776353]
  単眼・部分閉塞視からヒトの高密度3次元再構成を実現することの問題点を考察する。 身体の形状やポーズをパラメータ化することで、あいまいさをより効果的にモデル化できることを示唆する。 提案手法は, 3次元人間の標準ベンチマークにおいて, あいまいなポーズ回復において, 代替手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-02T13:55:31Z)
• Weakly Supervised Generative Network for Multiple 3D Human Pose Hypotheses [74.48263583706712]
  単一画像からの3次元ポーズ推定は、欠落した深さのあいまいさに起因する逆問題である。 逆問題に対処するために,弱い教師付き深層生成ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T09:26:01Z)
• Multi-person 3D Pose Estimation in Crowded Scenes Based on Multi-View Geometry [62.29762409558553]
  マルチパーソナライズされた3次元ポーズ推定手法における特徴マッチングと深さ推定のコアは、エピポーラ制約である。 スパサーの群衆シーンにおけるこの定式化の良好なパフォーマンスにもかかわらず、その効果はより密集した群衆の状況下でしばしば挑戦される。 本稿では,マルチパーソン3次元ポーズ推定式から脱却し,群衆ポーズ推定として再編成する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。