論文の概要: A Problem-Oriented Taxonomy of Evaluation Metrics for Time Series Anomaly Detection

• arxiv url: http://arxiv.org/abs/2511.18739v1
• Date: Mon, 24 Nov 2025 04:09:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.009008
• Title: A Problem-Oriented Taxonomy of Evaluation Metrics for Time Series Anomaly Detection
• Title（参考訳）: 時系列異常検出のための評価指標の課題指向分類法
• Authors: Kaixiang Yang, Jiarong Liu, Yupeng Song, Shuanghua Yang, Yujue Zhou,
• Abstract要約: 時系列異常検出は、IoTやサイバー物理システムで広く使われている。 本研究は, 既存のメトリクスを再解釈する問題指向フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.114573387946498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time series anomaly detection is widely used in IoT and cyber-physical systems, yet its evaluation remains challenging due to diverse application objectives and heterogeneous metric assumptions. This study introduces a problem-oriented framework that reinterprets existing metrics based on the specific evaluation challenges they are designed to address, rather than their mathematical forms or output structures. We categorize over twenty commonly used metrics into six dimensions: 1) basic accuracy-driven evaluation; 2) timeliness-aware reward mechanisms; 3) tolerance to labeling imprecision; 4) penalties reflecting human-audit cost; 5) robustness against random or inflated scores; and 6) parameter-free comparability for cross-dataset benchmarking. Comprehensive experiments are conducted to examine metric behavior under genuine, random, and oracle detection scenarios. By comparing their resulting score distributions, we quantify each metric's discriminative ability -- its capability to distinguish meaningful detections from random noise. The results show that while most event-level metrics exhibit strong separability, several widely used metrics (e.g., NAB, Point-Adjust) demonstrate limited resistance to random-score inflation. These findings reveal that metric suitability must be inherently task-dependent and aligned with the operational objectives of IoT applications. The proposed framework offers a unified analytical perspective for understanding existing metrics and provides practical guidance for selecting or developing more context-aware, robust, and fair evaluation methodologies for time series anomaly detection.
• Abstract（参考訳）: 時系列異常検出はIoTやサイバー物理システムで広く用いられているが、多種多様なアプリケーション目的と異種計量の仮定のため、その評価は依然として困難である。 本研究では,既存の指標を数学的形式や出力構造ではなく,それらが扱うように設計された特定の評価課題に基づいて再解釈する問題指向フレームワークを提案する。 20以上の一般的なメトリクスを6つの次元に分類します。 1) 基本的な正確性に基づく評価 2) タイムライン対応報酬機構 3) 表示不正確性に対する寛容 4) 人件費を反映した罰則 5) ランダム又は膨らませたスコアに対する堅牢性 6) クロスデータセットベンチマークのためのパラメータフリーコンパビリティ。 実、ランダム、およびオラクル検出シナリオ下での計量挙動を総合的な実験により検証する。 結果のスコア分布を比較することで、各メトリックの識別能力、すなわち、意味のある検出をランダムノイズと区別する能力の定量化を行う。 その結果、ほとんどの事象レベルの指標は強い分離性を示すが、いくつかの広く使われている指標(NAB、Point-Adjustなど)はランダムスコアインフレーションに対する抵抗性に制限があることが示されている。 これらの結果は、メトリックの適合性は本質的にタスク依存であり、IoTアプリケーションの運用上の目的と一致しなければならないことを示している。 提案フレームワークは、既存のメトリクスを理解するための統一的な分析的視点を提供し、時系列異常検出のためのよりコンテキスト対応で堅牢で公正な評価手法を選定または開発するための実践的なガイダンスを提供する。

関連論文リスト

• OIPR: Evaluation for Time-series Anomaly Detection Inspired by Operator Interest [26.460594836601004]
  我々は,OIPRと呼ばれる時系列異常検出評価指標を新たに提案する。 OIPRは、オペレーターが検出アラームを受信し、障害を処理し、オペレーターの関心曲線の下の領域を利用してTADアルゴリズムの性能を評価する過程をモデル化する。 ポイントパースペクティブとイベントパースペクティブのバランスを達成し、主要な制限を克服し、より広い状況に適用性を提供します。
  論文  参考訳（メタデータ） (2025-03-03T07:37:24Z)
• Open-set object detection: towards unified problem formulation and benchmarking [2.4374097382908477]
  統合VOC-COCO評価と,新しい評価指標の他に,明確な階層的オブジェクト定義を提供するOpenImagesRoadベンチマークの2つのベンチマークを紹介する。 提案したベンチマークで最先端の手法を広範囲に評価する。 この研究は、明確な問題定義を提供し、一貫した評価を保証し、OSOD戦略の有効性に関する新たな結論を導き出す。
  論文  参考訳（メタデータ） (2024-11-08T13:40:01Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [89.92916473403108]
  本稿では,新しい手法のモジュラーフレームワークであるADerの総合的な視覚異常検出ベンチマークを提案する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• On Pixel-level Performance Assessment in Anomaly Detection [87.7131059062292]
  異常検出法は様々な応用において顕著な成功を収めている。 しかし、特にピクセルレベルでのパフォーマンスを評価することは複雑な課題である。 本稿では,視覚的エビデンスと統計的分析により,この課題の複雑さを解明する。
  論文  参考訳（メタデータ） (2023-10-25T08:02:27Z)
• Identifying Performance Issues in Cloud Service Systems Based on Relational-Temporal Features [11.83269525626691]
  クラウドシステムはパフォーマンスの問題の影響を受けやすいため、サービスレベルの合意違反や財政的損失を引き起こす可能性がある。 本稿では,メトリクスの相対的特徴と時間的特徴を併用した学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T13:41:26Z)
• Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly Detection in Time Series [0.456877715768796]
  本稿では,時系列異常検出手法の評価に使用される指標について概説する。 20のメトリクスが分析され、詳細に議論され、特定のタスクに対するそれぞれのユニークな適合性を強調します。
  論文  参考訳（メタデータ） (2023-03-02T13:58:06Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。