論文の概要: Are Pose Estimators Ready for the Open World? STAGE: Synthetic Data Generation Toolkit for Auditing 3D Human Pose Estimators

• arxiv url: http://arxiv.org/abs/2408.16536v1
• Date: Wed, 28 Aug 2024 15:15:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 13:33:01.524969
• Title: Are Pose Estimators Ready for the Open World? STAGE: Synthetic Data Generation Toolkit for Auditing 3D Human Pose Estimators
• Title（参考訳）: ポース推定器はオープンワールドに向けて準備が整っているか?STAGE:3次元人間のポース推定器を監査するための合成データ生成ツールキット
• Authors: Nikita Kister, István Sárándi, Anna Khoreva, Gerard Pons-Moll,
• Abstract要約: 本稿では3次元ポーズ推定器を監査するGenAIデータツールキットSTAGEを提案する。 我々は、性別、民族性、年齢、衣服、場所、天候などの属性に対する人気のポーズ推定者の感度を評価するためのベンチマークを生成する。 その結果,このような自然発生属性の存在は,ポーズ推定器の性能を著しく低下させる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 32.06788714322575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The estimation of 3D human poses from images has progressed tremendously over the last few years as measured on standard benchmarks. However, performance in the open world remains underexplored, as current benchmarks cannot capture its full extent. Especially in safety-critical systems, it is crucial that 3D pose estimators are audited before deployment, and their sensitivity towards single factors or attributes occurring in the operational domain is thoroughly examined. Nevertheless, we currently lack a benchmark that would enable such fine-grained analysis. We thus present STAGE, a GenAI data toolkit for auditing 3D human pose estimators. We enable a text-to-image model to control the 3D human body pose in the generated image. This allows us to create customized annotated data covering a wide range of open-world attributes. We leverage STAGE and generate a series of benchmarks to audit the sensitivity of popular pose estimators towards attributes such as gender, ethnicity, age, clothing, location, and weather. Our results show that the presence of such naturally occurring attributes can cause severe degradation in the performance of pose estimators and leads us to question if they are ready for open-world deployment.
• Abstract（参考訳）: 画像から3Dの人間のポーズを推定する手法は、標準ベンチマークで測定されたように、ここ数年で飛躍的に進歩している。 しかしながら、現在のベンチマークではその全範囲を把握できないため、オープンな世界のパフォーマンスはいまだに過小評価されている。 特に安全クリティカルなシステムでは,3次元ポーズ推定装置を配備前に監査し,運用領域で発生する単一要因や属性に対する感度を徹底的に検討することが重要である。 それでも現時点では、このようなきめ細かい分析を可能にするベンチマークが欠落しています。 そこで我々は,3次元ポーズ推定器を監査するGenAIデータツールキットSTAGEを提案する。 我々は、テキスト・ツー・イメージ・モデルを用いて、生成された画像中の3次元人体ポーズを制御する。 これにより、さまざまなオープンワールド属性をカバーする、カスタマイズされた注釈付きデータを作成することができます。 我々はSTAGEを利用して、性別、民族、年齢、衣服、場所、天候などの属性に対する人気のポーズ推定者の感度を評価するために、一連のベンチマークを生成する。 以上の結果から, 自然発生属性の存在は, ポーズ推定器の性能を著しく低下させ, オープンワールド展開の準備が整ったかどうかを問うことができることがわかった。

関連論文リスト

• PoseBench: Benchmarking the Robustness of Pose Estimation Models under Corruptions [57.871692507044344]
  ポース推定は、単眼画像を用いて人や動物の解剖学的キーポイントを正確に同定することを目的としている。 現在のモデルは一般的に、クリーンなデータに基づいてトレーニングされ、テストされる。 実世界の腐敗に対するポーズ推定モデルの堅牢性を評価するためのベンチマークであるPoseBenchを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T14:40:17Z)
• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• Self-supervised 3D Human Pose Estimation from a Single Image [1.0878040851638]
  本研究では,1枚の画像から3次元人体ポーズを予測する自己教師型手法を提案する。 予測ネットワークは、典型的なポーズの人物と、未ペアの2Dポーズのセットを描写した未ラベル画像のデータセットから訓練される。
  論文  参考訳（メタデータ） (2023-04-05T10:26:21Z)
• PoseGU: 3D Human Pose Estimation with Novel Human Pose Generator and Unbiased Learning [36.609189237732394]
  3Dポーズ推定は近年,コンピュータビジョン領域において大きな関心を集めている。 既存の3Dポーズ推定手法は,大規模な3Dポーズデータセットに強く依存している。 本稿では,種子サンプルの小さなサイズにのみアクセス可能な多彩なポーズを生成する新規な人造ポーズ生成装置PoseGUを提案する。
  論文  参考訳（メタデータ） (2022-07-07T23:43:53Z)
• PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
  本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。 PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。 我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T12:48:48Z)
• THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
  THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。 完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。 野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
  論文  参考訳（メタデータ） (2021-06-17T09:09:24Z)
• Adapted Human Pose: Monocular 3D Human Pose Estimation with Zero Real 3D Pose Data [14.719976311208502]
  トレーニングとテストデータドメインのギャップは、しばしばモデルのパフォーマンスに悪影響を及ぼします。 本稿では、外見とポーズ空間の両方における適応問題に対処する適応的ヒューマンポーズ(AHuP)アプローチを提案する。 AHuPは、実際のアプリケーションでは、ターゲットドメインからのデータはアクセスできないか、限られた情報しか取得できないという現実的な前提に基づいて構築されている。
  論文  参考訳（メタデータ） (2021-05-23T01:20:40Z)
• Kinematic-Structure-Preserved Representation for Unsupervised 3D Human Pose Estimation [58.72192168935338]
  大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。 本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。 提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
  論文  参考訳（メタデータ） (2020-06-24T23:56:33Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。