論文の概要: PoseExaminer: Automated Testing of Out-of-Distribution Robustness in Human Pose and Shape Estimation

• arxiv url: http://arxiv.org/abs/2303.07337v1
• Date: Mon, 13 Mar 2023 17:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 13:28:25.321700
• Title: PoseExaminer: Automated Testing of Out-of-Distribution Robustness in Human Pose and Shape Estimation
• Title（参考訳）: PoseExaminer:人体における分布外ロバストネスの自動検査と形状推定
• Authors: Qihao Liu, Adam Kortylewski, Alan Yuille
• Abstract要約: 我々は人間のポーズのイメージの多様体を探索するために、きめ細かい方法で制御できるシミュレータを開発した。 本稿では,HPSアルゴリズムを自動診断するPoseExaminerという学習ベースのテスト手法を提案する。 我々のPoseExaminerは、現実のシナリオに関係のある現在の最先端モデルにおいて、様々な制限を発見できることを示す。
• 参考スコア（独自算出の注目度）: 15.432266117706018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human pose and shape (HPS) estimation methods achieve remarkable results. However, current HPS benchmarks are mostly designed to test models in scenarios that are similar to the training data. This can lead to critical situations in real-world applications when the observed data differs significantly from the training data and hence is out-of-distribution (OOD). It is therefore important to test and improve the OOD robustness of HPS methods. To address this fundamental problem, we develop a simulator that can be controlled in a fine-grained manner using interpretable parameters to explore the manifold of images of human pose, e.g. by varying poses, shapes, and clothes. We introduce a learning-based testing method, termed PoseExaminer, that automatically diagnoses HPS algorithms by searching over the parameter space of human pose images to find the failure modes. Our strategy for exploring this high-dimensional parameter space is a multi-agent reinforcement learning system, in which the agents collaborate to explore different parts of the parameter space. We show that our PoseExaminer discovers a variety of limitations in current state-of-the-art models that are relevant in real-world scenarios but are missed by current benchmarks. For example, it finds large regions of realistic human poses that are not predicted correctly, as well as reduced performance for humans with skinny and corpulent body shapes. In addition, we show that fine-tuning HPS methods by exploiting the failure modes found by PoseExaminer improve their robustness and even their performance on standard benchmarks by a significant margin. The code are available for research purposes.
• Abstract（参考訳）: HPS(Human pose and shape)推定法は優れた結果をもたらす。 しかし、現在のHPSベンチマークは主に、トレーニングデータに似たシナリオでモデルをテストするために設計されている。 これにより、観測されたデータがトレーニングデータと大きく異なる場合、実世界のアプリケーションにおいて重要な状況が発生する可能性がある。 したがってHPS法のOODロバスト性を試験・改善することが重要である。 この根本的な問題に対処するために,解釈可能なパラメータを用いて微粒度制御可能なシミュレータを開発し,ポーズや形状,衣服のバリエーションなど,人間のポーズのイメージの多様体を探索する。 本稿では,人間のポーズ画像のパラメータ空間を探索することでHPSアルゴリズムを自動的に診断する,PoseExaminerと呼ばれる学習ベースのテスト手法を提案する。 この高次元パラメータ空間を探索するための戦略は、エージェントが協調してパラメータ空間の異なる部分を探索するマルチエージェント強化学習システムである。 実世界のシナリオには関係しているものの、現在のベンチマークでは見逃されている現在の最先端モデルには、さまざまな制限があることを示します。 例えば、正しく予測されていない現実的な人間のポーズの大きな領域を見つけると同時に、細い体型や体型を持つ人間のパフォーマンスを低下させる。 さらに,posexaminer の故障モードを利用してhps法を微調整することで,標準ベンチマークにおけるロバスト性や性能が大幅に向上することを示した。 コードは研究目的で利用可能である。

関連論文リスト

• PoseBench: Benchmarking the Robustness of Pose Estimation Models under Corruptions [57.871692507044344]
  ポース推定は、単眼画像を用いて人や動物の解剖学的キーポイントを正確に同定することを目的としている。 現在のモデルは一般的に、クリーンなデータに基づいてトレーニングされ、テストされる。 実世界の腐敗に対するポーズ推定モデルの堅牢性を評価するためのベンチマークであるPoseBenchを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T14:40:17Z)
• Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
  我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。 提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
  論文  参考訳（メタデータ） (2024-05-29T06:09:34Z)
• SHARE: Single-view Human Adversarial REconstruction [23.655024290047308]
  我々は既存のHPS技術の堅牢性を高めるための新しい微調整手法であるSHAREを紹介する。 我々は,HPS再建におけるカメラポーズの影響を包括的に分析する。 以上の結果から,シングルビューHPS技術における平均接合誤差の低減が示唆された。
  論文  参考訳（メタデータ） (2023-12-30T23:01:31Z)
• Adversarial Parametric Pose Prior [106.12437086990853]
  我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。 得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-12-08T10:05:32Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Adapted Human Pose: Monocular 3D Human Pose Estimation with Zero Real 3D Pose Data [14.719976311208502]
  トレーニングとテストデータドメインのギャップは、しばしばモデルのパフォーマンスに悪影響を及ぼします。 本稿では、外見とポーズ空間の両方における適応問題に対処する適応的ヒューマンポーズ(AHuP)アプローチを提案する。 AHuPは、実際のアプリケーションでは、ターゲットドメインからのデータはアクセスできないか、限られた情報しか取得できないという現実的な前提に基づいて構築されている。
  論文  参考訳（メタデータ） (2021-05-23T01:20:40Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• MirrorNet: A Deep Bayesian Approach to Reflective 2D Pose Estimation from Human Images [42.27703025887059]
  標準的な教師ありアプローチの大きな問題は、しばしば解剖学的に不可解なポーズをもたらすことである。 ポーズアノテーションを使わずに画像を効果的に活用できる半教師付き手法を提案する。 実験の結果,提案した反射型アーキテクチャが解剖学的に妥当なポーズを推定できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:02:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。