論文の概要: UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues

• arxiv url: http://arxiv.org/abs/2404.14634v2
• Date: Tue, 14 May 2024 20:09:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-16 15:34:50.317166
• Title: UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues
• Title（参考訳）: UPose3D:クロスビューとテンポラルクイズを用いた不確かさを意識した3次元人物位置推定
• Authors: Vandad Davoodnia, Saeed Ghorbani, Marc-André Carbonneau, Alexandre Messier, Ali Etemad,
• Abstract要約: UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 メソッドは直接3Dアノテーションを必要とせずに堅牢性と柔軟性を向上させる。
• 参考スコア（独自算出の注目度）: 55.69339788566899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce UPose3D, a novel approach for multi-view 3D human pose estimation, addressing challenges in accuracy and scalability. Our method advances existing pose estimation frameworks by improving robustness and flexibility without requiring direct 3D annotations. At the core of our method, a pose compiler module refines predictions from a 2D keypoints estimator that operates on a single image by leveraging temporal and cross-view information. Our novel cross-view fusion strategy is scalable to any number of cameras, while our synthetic data generation strategy ensures generalization across diverse actors, scenes, and viewpoints. Finally, UPose3D leverages the prediction uncertainty of both the 2D keypoint estimator and the pose compiler module. This provides robustness to outliers and noisy data, resulting in state-of-the-art performance in out-of-distribution settings. In addition, for in-distribution settings, UPose3D yields a performance rivaling methods that rely on 3D annotated data, while being the state-of-the-art among methods relying only on 2D supervision.
• Abstract（参考訳）: UPose3Dは、多視点人間のポーズ推定のための新しいアプローチであり、精度とスケーラビリティの課題に対処する。 提案手法は,3Dアノテーションを直接必要とせず,ロバスト性や柔軟性を向上させることで,既存のポーズ推定フレームワークを進化させる。 提案手法のコアとなる2次元キーポイント推定器から,時間的・横断的な情報を活用することにより,1つの画像上で動作可能な2次元キーポイント推定器から,ポーズコンパイラモジュールが予測を洗練する。 我々の新しいクロスビュー融合戦略は、どんなカメラにもスケーラブルであり、合成データ生成戦略は、多様なアクター、シーン、視点の一般化を保証する。 最後に、UPose3Dは2Dキーポイント推定器とポーズコンパイラモジュールの両方の予測不確実性を利用する。 これにより、アウトレーヤやノイズの多いデータに対して堅牢性が提供され、アウト・オブ・ディストリビューション設定における最先端のパフォーマンスが実現します。 さらに、流通環境では、UPose3Dは3Dアノテートされたデータに依存するパフォーマンスに対抗し、2Dの監督のみに依存する手法の中でも最先端の手法である。

関連論文リスト

• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• CameraPose: Weakly-Supervised Monocular 3D Human Pose Estimation by Leveraging In-the-wild 2D Annotations [25.05308239278207]
  一つの画像から3次元のポーズ推定を行うための弱教師付きフレームワークであるCameraPoseを提案する。 カメラパラメータブランチを追加することで、Wildの2Dアノテーションをパイプラインに投入して、トレーニングの多様性を高めることができます。 また、2次元ポーズ推定器によって抽出されたノイズの多い2Dキーポイントの品質をさらに向上させるため、信頼誘導損失を有する改良型ネットワークモジュールも導入する。
  論文  参考訳（メタデータ） (2023-01-08T05:07:41Z)
• A generic diffusion-based approach for 3D human pose prediction in the wild [68.00961210467479]
  3D人間のポーズ予測、すなわち、過去の観察されたポーズのシーケンスが与えられた後の人間の3Dポーズのシーケンスを予測することは、困難な時間課題である。 本稿では,不完全な要素(予測や観測に関係しない)をノイズとして扱える統一的な定式化法を提案し,それらを認知し,妥当なポーズを予測する条件拡散モデルを提案する。 本研究は,4つの標準データセットについて検討し,現状よりも大幅に改善された。
  論文  参考訳（メタデータ） (2022-10-11T17:59:54Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• Learning Temporal 3D Human Pose Estimation with Pseudo-Labels [3.0954251281114513]
  自己監督型3次元ポーズ推定のための簡易かつ効果的なアプローチを提案する。 我々は、マルチビューカメラシステムの2Dボディポーズ推定を三角測量に頼っている。 提案手法はHuman3.6MとMPI-INF-3DHPベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-10-14T17:40:45Z)
• Shape-aware Multi-Person Pose Estimation from Multi-View Images [47.13919147134315]
  提案した粗大なパイプラインは、まず複数のカメラビューからノイズの多い2次元の観測結果を3次元空間に集約する。 最終的なポーズ推定は、高信頼度多視点2次元観測と3次元関節候補をリンクする新しい最適化スキームから得られる。
  論文  参考訳（メタデータ） (2021-10-05T20:04:21Z)
• Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
  Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
  論文  参考訳（メタデータ） (2021-07-08T15:19:36Z)
• Self-Attentive 3D Human Pose and Shape Estimation from Videos [82.63503361008607]
  3D人間のポーズと形状推定のためのビデオベースの学習アルゴリズムを紹介します。 ビデオの時間情報を利用して自己着脱モジュールを提案する。 本手法を3DPW, MPI-INF-3DHP, Human3.6Mデータセット上で評価した。
  論文  参考訳（メタデータ） (2021-03-26T00:02:19Z)
• Multi-Scale Networks for 3D Human Pose Estimation with Inference Stage Optimization [33.02708860641971]
  モノクロビデオから3Dのポーズを推定することは、まだまだ難しい課題だ。 既存の多くのメソッドは、対象の人が他のオブジェクトに干渉されたり、トレーニングデータのスケールや速度に対して動きが速すぎたり、遅くなったりすると低下する。 頑健な3次元ポーズ推定のための時間的ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T15:24:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。