論文の概要: Uncertainty-Aware Testing-Time Optimization for 3D Human Pose Estimation

• arxiv url: http://arxiv.org/abs/2402.02339v1
• Date: Sun, 4 Feb 2024 04:28:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 20:25:29.720677
• Title: Uncertainty-Aware Testing-Time Optimization for 3D Human Pose Estimation
• Title（参考訳）: 人間の3次元姿勢推定のための不確かさを意識したテスト時間最適化
• Authors: Ti Wang, Mengyuan Liu, Hong Liu, Bin Ren, Yingxuan You, Wenhao Li, Nicu Sebe, Xia Li
• Abstract要約: 本研究では3次元ポーズ推定のための不確実性認識テスト時間最適化フレームワークを提案する。 我々のアプローチは、Human3.6Mの4.5%という大きなマージンで、過去最高の結果を上回っている。
• 参考スコア（独自算出の注目度）: 68.75387874066647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although data-driven methods have achieved success in 3D human pose estimation, they often suffer from domain gaps and exhibit limited generalization. In contrast, optimization-based methods excel in fine-tuning for specific cases but are generally inferior to data-driven methods in overall performance. We observe that previous optimization-based methods commonly rely on projection constraint, which only ensures alignment in 2D space, potentially leading to the overfitting problem. To address this, we propose an Uncertainty-Aware testing-time Optimization (UAO) framework, which keeps the prior information of pre-trained model and alleviates the overfitting problem using the uncertainty of joints. Specifically, during the training phase, we design an effective 2D-to-3D network for estimating the corresponding 3D pose while quantifying the uncertainty of each 3D joint. For optimization during testing, the proposed optimization framework freezes the pre-trained model and optimizes only a latent state. Projection loss is then employed to ensure the generated poses are well aligned in 2D space for high-quality optimization. Furthermore, we utilize the uncertainty of each joint to determine how much each joint is allowed for optimization. The effectiveness and superiority of the proposed framework are validated through extensive experiments on two challenging datasets: Human3.6M and MPI-INF-3DHP. Notably, our approach outperforms the previous best result by a large margin of 4.5% on Human3.6M. Our source code will be open-sourced.
• Abstract（参考訳）: データ駆動手法は3次元人間のポーズ推定で成功を収めているが、しばしばドメインギャップに苦しみ、限定的な一般化を示す。 対照的に、最適化に基づく手法は特定のケースの微調整に優れるが、全体的な性能はデータ駆動方式に劣る。 従来の最適化手法は2次元空間におけるアライメントのみを保証するプロジェクション制約に依存しており、オーバーフィッティングの問題につながる可能性がある。 そこで本研究では,事前学習モデルの事前情報を保持し,ジョイントの不確実性を用いた過剰フィッティング問題を緩和する,不確実性対応テスト時間最適化(uao)フレームワークを提案する。 具体的には,各3次元関節の不確かさを定量化しつつ,対応する3次元ポーズを推定する効果的な2次元から3次元ネットワークを設計する。 テスト中の最適化のために提案された最適化フレームワークは、事前訓練されたモデルを凍結し、遅延状態のみを最適化する。 投影損失は、生成されたポーズが高品質な最適化のために2次元空間によく整列することを保証するために使われる。 さらに,各関節の不確実性を利用して,各関節がどの程度の最適化が可能かを決定する。 提案手法の有効性と優位性は,Human3.6M と MPI-INF-3DHP の2つの挑戦的データセットに対する広範な実験により検証された。 特に、我々のアプローチは、Human3.6Mの4.5%という大きなマージンで、これまでの最高の結果を上回っている。 ソースコードはオープンソースになります。

関連論文リスト

• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• Back to Optimization: Diffusion-based Zero-Shot 3D Human Pose Estimation [29.037799937729687]
  学習に基づく手法は、従来の最適化に基づく手法よりも多くのベンチマークにおいて非常に優れた性能を持つ3Dヒューマンポーズ推定(HPE)タスクを支配している。 我々は3次元HPEのためのtextbfZero-shot textbfDiffusion-based textbfOptimization (textbfZeDO) パイプラインを提案する。 われわれはHuman3.6Mにおける最先端(SOTA)のパフォーマンスをminMPJPE$51.4$で達成している。
  論文  参考訳（メタデータ） (2023-07-07T21:03:18Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• Camera Distortion-aware 3D Human Pose Estimation in Video with Optimization-based Meta-Learning [23.200130129530653]
  歪みのないデータセットでトレーニングされた既存の3次元ポーズ推定アルゴリズムは、特定のカメラ歪みのある新しいシナリオに適用した場合、パフォーマンス低下を被る。 本研究では, 歪み環境に迅速に適応できる簡易かつ効果的な3次元ポーズ推定モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-30T01:35:04Z)
• Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
  本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。 学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。 提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-11T23:31:34Z)
• Revitalizing Optimization for 3D Human Pose and Shape Estimation: A Sparse Constrained Formulation [21.710205047008916]
  そこで我々は,新しいスパース制約型定式化を提案し,そこから3次元人間のポーズと形状推定のリアルタイム最適化手法を導出した。 この計算は、複雑な3次元人体モデルの関節の数と線形にスケールすることを示し、より密集した非拘束的な定式化のために立方的にスケールする以前の作業とは対照的である。 本研究では,30FPS以上の1枚の画像から3次元の人間のポーズと形状を推定するリアルタイムモーションキャプチャフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T16:44:56Z)
• Deep Optimized Priors for 3D Shape Modeling and Reconstruction [38.79018852887249]
  3Dモデリングと再構築のための新しい学習フレームワークを紹介します。 提案手法は,事前訓練によって制約された障壁を効果的に破壊することを示す。
  論文  参考訳（メタデータ） (2020-12-14T03:56:31Z)
• Human Body Model Fitting by Learned Gradient Descent [48.79414884222403]
  画像に3次元の人体形状を適合させる新しいアルゴリズムを提案する。 このアルゴリズムは高速(約120ms収束)で、データセットに頑健であり、公開評価データセットの最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-19T14:26:47Z)
• Inference Stage Optimization for Cross-scenario 3D Human Pose Estimation [97.93687743378106]
  既存の3Dポーズ推定モデルは、目に見えないポーズを持つ新しいシナリオに適用する場合、パフォーマンス低下を被る。 本稿では、3次元ポーズモデルの一般化性を改善するための新しいフレームワークである推論段階最適化(ISO)を提案する。 注目すべきは、MPI-INF-3DHPで83.6%の最先端の3D PCKが得られることだ。
  論文  参考訳（メタデータ） (2020-07-04T09:45:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。