論文の概要: POCO: 3D Pose and Shape Estimation with Confidence

• arxiv url: http://arxiv.org/abs/2308.12965v1
• Date: Thu, 24 Aug 2023 17:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 12:45:21.375053
• Title: POCO: 3D Pose and Shape Estimation with Confidence
• Title（参考訳）: POCO:3次元ポースと信頼性による形状推定
• Authors: Sai Kumar Dwivedi, Cordelia Schmid, Hongwei Yi, Michael J. Black, Dimitrios Tzionas
• Abstract要約: 我々は,HPSレジストレーターをトレーニングする新しいフレームワークPOCOを開発し,人体だけでなく,その信頼性も評価した。 具体的には、POCOは3Dボディポーズとサンプルごとのばらつきの両方を推定する。 あらゆるケースにおいて、不確実性について推論するためにネットワークをトレーニングすることは、より正確に3Dのポーズを推定するのに役立つ。
• 参考スコア（独自算出の注目度）: 99.91683561240549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The regression of 3D Human Pose and Shape (HPS) from an image is becoming increasingly accurate. This makes the results useful for downstream tasks like human action recognition or 3D graphics. Yet, no regressor is perfect, and accuracy can be affected by ambiguous image evidence or by poses and appearance that are unseen during training. Most current HPS regressors, however, do not report the confidence of their outputs, meaning that downstream tasks cannot differentiate accurate estimates from inaccurate ones. To address this, we develop POCO, a novel framework for training HPS regressors to estimate not only a 3D human body, but also their confidence, in a single feed-forward pass. Specifically, POCO estimates both the 3D body pose and a per-sample variance. The key idea is to introduce a Dual Conditioning Strategy (DCS) for regressing uncertainty that is highly correlated to pose reconstruction quality. The POCO framework can be applied to any HPS regressor and here we evaluate it by modifying HMR, PARE, and CLIFF. In all cases, training the network to reason about uncertainty helps it learn to more accurately estimate 3D pose. While this was not our goal, the improvement is modest but consistent. Our main motivation is to provide uncertainty estimates for downstream tasks; we demonstrate this in two ways: (1) We use the confidence estimates to bootstrap HPS training. Given unlabelled image data, we take the confident estimates of a POCO-trained regressor as pseudo ground truth. Retraining with this automatically-curated data improves accuracy. (2) We exploit uncertainty in video pose estimation by automatically identifying uncertain frames (e.g. due to occlusion) and inpainting these from confident frames. Code and models will be available for research at https://poco.is.tue.mpg.de.
• Abstract（参考訳）: 画像からのHPS(3D Human Pose and Shape)の回帰はますます正確になりつつある。 これにより、人間のアクション認識や3Dグラフィックなどの下流タスクに役立ちます。 しかし、回帰器は完璧ではなく、不明瞭な画像証拠や、訓練中に見えないポーズや外観の影響を受けやすい。 しかし、現在のHPS回帰器の多くは出力の信頼性を報告していないため、下流のタスクは正確な見積もりを不正確なものと区別できない。 そこで我々は,hpsレグレッサをトレーニングするための新しいフレームワークであるpocoを開発した。3d人体だけでなく,その自信を単一のフィードフォワードパスで推定する。 具体的には、POCOは3Dボディポーズとサンプルごとのばらつきの両方を推定する。 鍵となる考え方は、復元品質に高い相関を持つ不確実性を抑えるためのデュアルコンディショニング戦略(DCS)を導入することである。 POCO フレームワークは任意の HPS 回帰器に適用可能であり,HMR,PARE,CLIFF を改良して評価する。 いずれの場合も、不確かさを判断するためにネットワークを訓練することは、3dのポーズをより正確に推定するのに役立つ。 これは私たちの目標ではありませんが、改善は控えめですが一貫性があります。 本研究の主な動機は下流タスクに対する不確実性推定を提供することであり,1)HPSトレーニングのブートストラップに信頼度推定を用いる。 誤りのない画像データから、POCO訓練された回帰器の自信ある推定を擬似基底真理とみなす。 この自動計算データによるリトレーニングは精度を向上させる。 2) 映像ポーズ推定における不確実性は,不確実なフレーム(例えば,隠蔽による)を自動同定し,信頼度の高いフレームから絵を描くことで評価する。 コードとモデルはhttps://poco.is.tue.mpg.deで研究することができる。

関連論文リスト

• TokenHMR: Advancing Human Mesh Recovery with a Tokenized Pose Representation [48.08156777874614]
  現在の手法では3次元擬似地下構造(p-GT)と2次元鍵点を利用して、堅牢な性能を実現している。 このような手法により、3次元ポーズ精度のパラドックス的低下が観察され、2次元精度が増大する。 現行のカメラモデルによる誤差を定量化し、2Dキーポイントとp-GTの装着が正確な3Dポーズを引き起こすことを示す。
  論文  参考訳（メタデータ） (2024-04-25T17:09:14Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• On the Calibration of Human Pose Estimation [39.15814732856338]
  Calibrated ConfidenceNet (CCNet)は、市販のポーズ推定フレームワークでAPを最大1.4%改善する軽量なポストホック追加である。 メッシュリカバリの下流タスクに適用されたCCNetは、3Dキーポイントエラーを1.0mm削減する。
  論文  参考訳（メタデータ） (2023-11-28T09:31:09Z)
• "Teaching Independent Parts Separately"(TIPSy-GAN) : Improving Accuracy and Stability in Unsupervised Adversarial 2D to 3D Human Pose Estimation [7.294965109944706]
  教師なし対人2次元から3次元のポーズ推定における精度と安定性を改善するための新しいアプローチであるTIPSy-GANを提案する。 我々の研究では、ヒトのキネマティック骨格は1つの空間的相互依存構造として想定されるべきでないことを示した。
  論文  参考訳（メタデータ） (2022-05-12T09:40:25Z)
• PoseTriplet: Co-evolving 3D Human Pose Estimation, Imitation, and Hallucination under Self-supervision [102.48681650013698]
  既存の自己監督型3次元ポーズ推定スキームは、学習を導くための弱い監督に大きく依存している。 そこで我々は,2D-3Dのポーズペアを明示的に生成し,監督を増強する,新しい自己監督手法を提案する。 これは、ポーズ推定器とポーズ幻覚器を併用して学習する強化学習ベースの模倣器を導入することで可能となる。
  論文  参考訳（メタデータ） (2022-03-29T14:45:53Z)
• PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
  本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。 PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。 我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T12:48:48Z)
• Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
  Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
  論文  参考訳（メタデータ） (2021-07-08T15:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。