論文の概要: Enhancing Evaluation Methods for Infrared Small-Target Detection in Real-world Scenarios

• arxiv url: http://arxiv.org/abs/2301.03796v2
• Date: Sun, 25 Aug 2024 21:45:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 01:37:08.516918
• Title: Enhancing Evaluation Methods for Infrared Small-Target Detection in Real-world Scenarios
• Title（参考訳）: 実世界のシナリオにおける赤外小ターゲット検出のための評価手法の強化
• Authors: Saed Moradi, Alireza Memarmoghadam, Payman Moallem, Mohamad Farzan Sabahi,
• Abstract要約: 赤外線小目標検出(IRSTD)はコンピュータビジョンの分野で大きな課題となる。 パフォーマンスを評価するために使用される評価指標について、広範な調査が行われていない。 我々は、まず既存のメトリクスの有効性を評価し、次に従来のメトリクスの限界を克服するために新しいメトリクスを提案することで、この問題に対処する体系的なアプローチを採用する。
• 参考スコア（独自算出の注目度）: 2.6723845245975064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Infrared small target detection (IRSTD) poses a significant challenge in the field of computer vision. While substantial efforts have been made over the past two decades to improve the detection capabilities of IRSTD algorithms, there has been a lack of extensive investigation into the evaluation metrics used for assessing their performance. In this paper, we employ a systematic approach to address this issue by first evaluating the effectiveness of existing metrics and then proposing new metrics to overcome the limitations of conventional ones. To achieve this, we carefully analyze the necessary conditions for successful detection and identify the shortcomings of current evaluation metrics, including both pre-thresholding and post-thresholding metrics. We then introduce new metrics that are designed to align with the requirements of real-world systems. Furthermore, we utilize these newly proposed metrics to compare and evaluate the performance of five widely recognized small infrared target detection algorithms. The results demonstrate that the new metrics provide consistent and meaningful quantitative assessments, aligning with qualitative observations.
• Abstract（参考訳）: 赤外線小目標検出(IRSTD)はコンピュータビジョンの分野で大きな課題となる。 過去20年間、IRSTDアルゴリズムの検出能力を改善するためにかなりの努力が続けられてきたが、その性能を評価するために使用される評価指標について、広範囲にわたる調査は行われていない。 本稿では,既存のメトリクスの有効性をまず評価し,従来のメトリクスの限界を克服するための新しいメトリクスを提案することによって,この問題に対処する体系的なアプローチを採用する。 これを実現するために,本研究は,既存の評価指標の問題点を検知するための必要な条件を慎重に分析し,事前評価指標と後評価指標の両方を含む問題点を同定する。 そして、現実世界のシステムの要求に合致するように設計された新しいメトリクスを導入します。 さらに、これらの新しい指標を用いて、広く認識されている5つの小型赤外目標検出アルゴリズムの性能を比較し、評価する。 結果は、新しい指標が質的な観察と整合して、一貫した有意義な定量的評価を提供することを示した。

関連論文リスト

• Open-set object detection: towards unified problem formulation and benchmarking [2.4374097382908477]
  統合VOC-COCO評価と,新しい評価指標の他に,明確な階層的オブジェクト定義を提供するOpenImagesRoadベンチマークの2つのベンチマークを紹介する。 提案したベンチマークで最先端の手法を広範囲に評価する。 この研究は、明確な問題定義を提供し、一貫した評価を保証し、OSOD戦略の有効性に関する新たな結論を導き出す。
  論文  参考訳（メタデータ） (2024-11-08T13:40:01Z)
• Dissecting Out-of-Distribution Detection and Open-Set Recognition: A Critical Analysis of Methods and Benchmarks [17.520137576423593]
  我々は,コミュニティ内の2つの大きなサブフィールドの総合的なビュー – アウト・オブ・ディストリビューション(OOD)検出とオープンセット認識(OSR) – を提供することを目指している。 我々は,OOD検出における最先端手法とOSR設定との厳密な相互評価を行い,それらの手法の性能の強い相関関係を同定する。 我々は,OOD検出とOSRによって取り組まれている問題を解消する,より大規模なベンチマーク設定を提案する。
  論文  参考訳（メタデータ） (2024-08-29T17:55:07Z)
• Refined Infrared Small Target Detection Scheme with Single-Point Supervision [2.661766509317245]
  単一点監視を用いた革新的赤外線小目標検出手法を提案する。 提案手法は最先端(SOTA)性能を実現する。 特に、提案手法は「ICPR 2024 Resource-Limited Infrared Small Target Detection Challenge Track 1: Weakly Supervised Infrared Small Target Detection」で3位を獲得した。
  論文  参考訳（メタデータ） (2024-08-05T18:49:58Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• On Pixel-level Performance Assessment in Anomaly Detection [87.7131059062292]
  異常検出法は様々な応用において顕著な成功を収めている。 しかし、特にピクセルレベルでのパフォーマンスを評価することは複雑な課題である。 本稿では,視覚的エビデンスと統計的分析により,この課題の複雑さを解明する。
  論文  参考訳（メタデータ） (2023-10-25T08:02:27Z)
• Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
  安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。 我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:51:32Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• One-Stage Cascade Refinement Networks for Infrared Small Target Detection [21.28595135499812]
  SIRST(Single-frame InfraRed Small Target)検出は、固有の特性の欠如による課題である。 実世界の高解像度単一フレームターゲットのSIRST-V2データセットからなる赤外線小ターゲット検出のための新しい研究ベンチマークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T13:37:23Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• PONE: A Novel Automatic Evaluation Metric for Open-Domain Generative Dialogue Systems [48.99561874529323]
  オープンドメイン生成対話システムの評価には3つの方法がある。 体系的な比較が欠如しているため、どの指標がより効果的であるかは明らかでない。 本稿では,人間の判断との相関性を大幅に改善できる,新しい,実現可能な学習基準を提案する。
  論文  参考訳（メタデータ） (2020-04-06T04:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。