論文の概要: Metamorphic Testing for Pose Estimation Systems

• arxiv url: http://arxiv.org/abs/2502.09460v1
• Date: Thu, 13 Feb 2025 16:27:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:51:05.931597
• Title: Metamorphic Testing for Pose Estimation Systems
• Title（参考訳）: ポーズ推定システムのメタモルフィックテスト
• Authors: Matias Duran, Thomas Laurent, Ellen Rushe, Anthony Ventresque,
• Abstract要約: ポーズ推定システムのためのテストフレームワークMET-POSEを提案する。 これらのシステムの性能を評価しながら、手動のアノテーションの必要性を回避します。 我々はMET-POSEの有効性をMediapipe Holisticに応用して実験的に示す。
• 参考スコア（独自算出の注目度）: 3.2186308082558623
• License:
• Abstract: Pose estimation systems are used in a variety of fields, from sports analytics to livestock care. Given their potential impact, it is paramount to systematically test their behaviour and potential for failure. This is a complex task due to the oracle problem and the high cost of manual labelling necessary to build ground truth keypoints. This problem is exacerbated by the fact that different applications require systems to focus on different subjects (e.g., human versus animal) or landmarks (e.g., only extremities versus whole body and face), which makes labelled test data rarely reusable. To combat these problems we propose MET-POSE, a metamorphic testing framework for pose estimation systems that bypasses the need for manual annotation while assessing the performance of these systems under different circumstances. MET-POSE thus allows users of pose estimation systems to assess the systems in conditions that more closely relate to their application without having to label an ad-hoc test dataset or rely only on available datasets, which may not be adapted to their application domain. While we define MET-POSE in general terms, we also present a non-exhaustive list of metamorphic rules that represent common challenges in computer vision applications, as well as a specific way to evaluate these rules. We then experimentally show the effectiveness of MET-POSE by applying it to Mediapipe Holistic, a state of the art human pose estimation system, with the FLIC and PHOENIX datasets. With these experiments, we outline numerous ways in which the outputs of MET-POSE can uncover faults in pose estimation systems at a similar or higher rate than classic testing using hand labelled data, and show that users can tailor the rule set they use to the faults and level of accuracy relevant to their application.
• Abstract（参考訳）: ポース推定システムは、スポーツ分析から家畜ケアまで、さまざまな分野で使用されている。 潜在的な影響を考えると、その振る舞いと失敗の可能性について、体系的にテストすることが最重要である。 これは、オラクルの問題と、真理のキーポイントを構築するのに必要な手動ラベリングの高コストのため、複雑なタスクである。 この問題は、異なるアプリケーションが異なる主題(例えば、人間と動物)やランドマーク(例えば、体と顔の極端のみ)にフォーカスする必要があるという事実によって悪化し、ラベル付きテストデータが再利用されることはほとんどない。 これらの問題に対処するために,異なる状況下でこれらのシステムの性能を評価しながら手動によるアノテーションの必要性を回避したポーズ推定システムのためのメタモルフィックテストフレームワークMET-POSEを提案する。 このため、MET-POSEでは、アドホックなテストデータセットをラベル付けしたり、利用可能なデータセットにのみ依存することなく、アプリケーションドメインに適合しないような条件下で、ポーズ推定システムのシステムを評価することができる。 我々はMET-POSEを一般用語で定義する一方で、コンピュータビジョンアプリケーションにおける共通の課題を表すメタモルフィック・ルールの具体的リストや、これらのルールを評価するための具体的な方法も提示する。 次に、FLICおよびPHOENIXデータセットを用いて、最先端の人間のポーズ推定システムであるMediapipe Holisticに適用し、MET-POSEの有効性を実験的に示す。 これらの実験により,MET-POSEの出力が手書きラベル付きデータを用いた古典的テストと同等かそれ以上の速度でポーズ推定システムの欠陥を発見できる多くの手法を概説し,ユーザがアプリケーションに関連する欠陥や精度のレベルに使用するルールをカスタマイズできることを示す。

関連論文リスト

• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• Discovering Decision Manifolds to Assure Trusted Autonomous Systems [0.0]
  本稿では,システムが提示できる正誤応答の範囲を最適化した探索手法を提案する。 この多様体は、従来のテストやモンテカルロシミュレーションよりもシステムの信頼性をより詳細に理解する。 この概念実証では,本手法を自動運転車のループ内ソフトウェア評価に適用する。
  論文  参考訳（メタデータ） (2024-02-12T16:55:58Z)
• Towards Reliable AI: Adequacy Metrics for Ensuring the Quality of System-level Testing of Autonomous Vehicles [5.634825161148484]
  我々は、"Test suite Instance Space Adequacy"(TISA)メトリクスと呼ばれる一連のブラックボックステストの精度指標を紹介します。 TISAメトリクスは、テストスイートの多様性とカバレッジと、テスト中に検出されたバグの範囲の両方を評価する手段を提供する。 AVのシステムレベルのシミュレーションテストにおいて検出されたバグ数との相関を検証し,TISA測定の有効性を評価する。
  論文  参考訳（メタデータ） (2023-11-14T10:16:05Z)
• End-to-end Evaluation of Practical Video Analytics Systems for Face Detection and Recognition [9.942007083253479]
  ビデオ分析システムは、自動運転車のような帯域制限のある環境にデプロイされる。 エンドツーエンドの顔分析システムでは、HEVCのような一般的なビデオコーデックを使用して入力を最初に圧縮する。 独立したタスク評価,データセットの不均衡,一貫性のないアノテーションが,システムパフォーマンスの誤った推定にどのように寄与するかを実証する。
  論文  参考訳（メタデータ） (2023-10-10T19:06:10Z)
• DARTH: Holistic Test-time Adaptation for Multiple Object Tracking [87.72019733473562]
  複数物体追跡(MOT)は、自律運転における知覚システムの基本的構成要素である。 運転システムの安全性の追求にもかかわらず、テスト時間条件における領域シフトに対するMOT適応問題に対する解決策は提案されていない。 我々はMOTの総合的なテスト時間適応フレームワークであるDARTHを紹介する。
  論文  参考訳（メタデータ） (2023-10-03T10:10:42Z)
• Interactive System-wise Anomaly Detection [66.3766756452743]
  異常検出は様々なアプリケーションにおいて基本的な役割を果たす。 既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。 システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
  論文  参考訳（メタデータ） (2023-04-21T02:20:24Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Formalizing and Evaluating Requirements of Perception Systems for Automated Vehicles using Spatio-Temporal Perception Logic [25.070876549371693]
  本研究では,空間的および時間的演算子を用いた知覚データに対する推論を可能にするロジックを提案する。 STPLの大きな利点の1つは、知覚システムの機能性能の基本的な正当性チェックを容易にすることである。
  論文  参考訳（メタデータ） (2022-06-29T02:36:53Z)
• GraspNet: A Large-Scale Clustered and Densely Annotated Dataset for Object Grasping [49.777649953381676]
  我々は,統合評価システムを用いた大規模グリップポーズ検出データセットに貢献する。 データセットには87,040枚のRGBD画像と3億7000万枚以上のグリップポーズが含まれている。
  論文  参考訳（メタデータ） (2019-12-31T18:15:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。