論文の概要: PoseBench: Benchmarking the Robustness of Pose Estimation Models under Corruptions

• arxiv url: http://arxiv.org/abs/2406.14367v1
• Date: Thu, 20 Jun 2024 14:40:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 13:12:50.677653
• Title: PoseBench: Benchmarking the Robustness of Pose Estimation Models under Corruptions
• Title（参考訳）: PoseBench: 崩壊時のポース推定モデルのロバスト性をベンチマークする
• Authors: Sihan Ma, Jing Zhang, Qiong Cao, Dacheng Tao,
• Abstract要約: ポース推定は、単眼画像を用いて人や動物の解剖学的キーポイントを正確に同定することを目的としている。 現在のモデルは一般的に、クリーンなデータに基づいてトレーニングされ、テストされる。 実世界の腐敗に対するポーズ推定モデルの堅牢性を評価するためのベンチマークであるPoseBenchを紹介する。
• 参考スコア（独自算出の注目度）: 57.871692507044344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pose estimation aims to accurately identify anatomical keypoints in humans and animals using monocular images, which is crucial for various applications such as human-machine interaction, embodied AI, and autonomous driving. While current models show promising results, they are typically trained and tested on clean data, potentially overlooking the corruption during real-world deployment and thus posing safety risks in practical scenarios. To address this issue, we introduce PoseBench, a comprehensive benchmark designed to evaluate the robustness of pose estimation models against real-world corruption. We evaluated 60 representative models, including top-down, bottom-up, heatmap-based, regression-based, and classification-based methods, across three datasets for human and animal pose estimation. Our evaluation involves 10 types of corruption in four categories: 1) blur and noise, 2) compression and color loss, 3) severe lighting, and 4) masks. Our findings reveal that state-of-the-art models are vulnerable to common real-world corruptions and exhibit distinct behaviors when tackling human and animal pose estimation tasks. To improve model robustness, we delve into various design considerations, including input resolution, pre-training datasets, backbone capacity, post-processing, and data augmentations. We hope that our benchmark will serve as a foundation for advancing research in robust pose estimation. The benchmark and source code will be released at https://xymsh.github.io/PoseBench
• Abstract（参考訳）: ポース推定は、ヒトと動物の解剖学的キーポイントをモノクル画像を用いて正確に識別することを目的としており、これは人間と機械の相互作用、具体化AI、自律運転など様々な用途に不可欠である。 現在のモデルは有望な結果を示しているが、それらは典型的にはクリーンなデータでトレーニングされ、テストされる。 この問題に対処するために、実世界の腐敗に対するポーズ推定モデルの堅牢性を評価するために設計された総合的なベンチマークであるPoseBenchを紹介する。 トップダウン,ボトムアップ,ヒートマップベース,レグレッションベース,分類ベースを含む60の代表的なモデルを,ヒトと動物のポーズ推定のための3つのデータセットで評価した。 評価には4つのカテゴリーで10種類の汚職が関係している。 1)ぼやけと騒音 2)圧縮と色損失 3)厳しい照明、そして 4) マスク。 以上の結果から,現状のモデルでは,一般的な現実世界の腐敗に対して脆弱であり,人間と動物のポーズ推定タスクに対処する際,異なる行動を示すことが明らかとなった。 モデルの堅牢性を改善するため、入力解決、事前トレーニングデータセット、バックボーン容量、後処理、データ拡張など、さまざまな設計上の考慮事項を掘り下げる。 当社のベンチマークが、堅牢なポーズ推定研究の基盤になることを期待しています。 ベンチマークとソースコードはhttps://xymsh.github.io/PoseBenchで公開される。

関連論文リスト

• Towards Robust and Expressive Whole-body Human Pose and Shape Estimation [51.457517178632756]
  全体のポーズと形状の推定は、単眼画像から人体全体の異なる振る舞いを共同で予測することを目的としている。 既存の手法では、既存のシナリオの複雑さの下で、しばしば劣化したパフォーマンスを示す。 全身のポーズと形状推定の堅牢性を高める新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-14T08:17:42Z)
• Of Mice and Pose: 2D Mouse Pose Estimation from Unlabelled Data and Synthetic Prior [0.7499722271664145]
  そこで本稿では, 合成合成経験的ポーズを用いた2次元マウスのポーズ推定手法を提案する。 本手法はマウスの四肢構造に適応し,合成3次元マウスモデルから2次元ポーズの経験的先行を生成できる。 新しいマウスビデオデータセットの実験では,ポーズ予測を手作業で得られた真実と比較することにより,提案手法の性能を評価する。
  論文  参考訳（メタデータ） (2023-07-25T09:31:55Z)
• OOD-CV-v2: An extended Benchmark for Robustness to Out-of-Distribution Shifts of Individual Nuisances in Natural Images [59.51657161097337]
  OOD-CV-v2は、ポーズ、形状、テクスチャ、コンテキスト、気象条件の10のオブジェクトカテゴリのアウト・オブ・ディストリビューションの例を含むベンチマークデータセットである。 この新たなデータセットに加えて、一般的なベースライン手法を用いた広範な実験にも貢献する。
  論文  参考訳（メタデータ） (2023-04-17T20:39:25Z)
• PoseExaminer: Automated Testing of Out-of-Distribution Robustness in Human Pose and Shape Estimation [15.432266117706018]
  我々は人間のポーズのイメージの多様体を探索するために、きめ細かい方法で制御できるシミュレータを開発した。 本稿では,HPSアルゴリズムを自動診断するPoseExaminerという学習ベースのテスト手法を提案する。 我々のPoseExaminerは、現実のシナリオに関係のある現在の最先端モデルにおいて、様々な制限を発見できることを示す。
  論文  参考訳（メタデータ） (2023-03-13T17:58:54Z)
• SuperAnimal pretrained pose estimation models for behavioral analysis [42.206265576708255]
  行動の定量化は神経科学、獣医学、動物保護活動など様々な応用において重要である。 我々は、SuperAnimalと呼ばれる新しい手法で統一基盤モデルを開発するための一連の技術革新を提案する。
  論文  参考訳（メタデータ） (2022-03-14T18:46:57Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Adapted Human Pose: Monocular 3D Human Pose Estimation with Zero Real 3D Pose Data [14.719976311208502]
  トレーニングとテストデータドメインのギャップは、しばしばモデルのパフォーマンスに悪影響を及ぼします。 本稿では、外見とポーズ空間の両方における適応問題に対処する適応的ヒューマンポーズ(AHuP)アプローチを提案する。 AHuPは、実際のアプリケーションでは、ターゲットドメインからのデータはアクセスできないか、限られた情報しか取得できないという現実的な前提に基づいて構築されている。
  論文  参考訳（メタデータ） (2021-05-23T01:20:40Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。