論文の概要: Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly
Detection in Time Series
- arxiv url: http://arxiv.org/abs/2303.01272v1
- Date: Thu, 2 Mar 2023 13:58:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-03 14:11:48.809528
- Title: Navigating the Metric Maze: A Taxonomy of Evaluation Metrics for Anomaly
Detection in Time Series
- Title（参考訳）: 計量迷路のナビゲート:時系列における異常検出のための評価指標の分類法
- Authors: Sondre S{\o}rb{\o} and Massimiliano Ruocco
- Abstract要約: 本稿では,時系列異常検出手法の評価に使用される指標について概説する。
20のメトリクスが分析され、詳細に議論され、特定のタスクに対するそれぞれのユニークな適合性を強調します。
- 参考スコア（独自算出の注目度）: 0.456877715768796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The field of time series anomaly detection is constantly advancing, with
several methods available, making it a challenge to determine the most
appropriate method for a specific domain. The evaluation of these methods is
facilitated by the use of metrics, which vary widely in their properties.
Despite the existence of new evaluation metrics, there is limited agreement on
which metrics are best suited for specific scenarios and domain, and the most
commonly used metrics have faced criticism in the literature. This paper
provides a comprehensive overview of the metrics used for the evaluation of
time series anomaly detection methods, and also defines a taxonomy of these
based on how they are calculated. By defining a set of properties for
evaluation metrics and a set of specific case studies and experiments, twenty
metrics are analyzed and discussed in detail, highlighting the unique
suitability of each for specific tasks. Through extensive experimentation and
analysis, this paper argues that the choice of evaluation metric must be made
with care, taking into account the specific requirements of the task at hand.
- Abstract（参考訳）: 時系列異常検出の分野は、いくつかの方法が利用可能であり、特定の領域に対して最も適切な方法を決定することが困難である。
これらの手法の評価はメトリクスの使用によって促進され、その特性は様々である。
新しい評価指標が存在するにもかかわらず、どのメトリクスが特定のシナリオやドメインに最も適しているかの合意は限られており、最も一般的に使われるメトリクスは文献で批判されている。
本稿では,時系列異常検出法の評価に用いる指標の包括的概要と,それらの計算方法に基づく分類法について述べる。
評価メトリクスのプロパティセットと、特定のケーススタディと実験セットを定義することで、20のメトリクスを分析、詳細に議論し、それぞれのタスクに特有の適合性を強調する。
本論文は,広範囲な実験と分析を通じて,課題の具体的な要件を考慮し,評価基準の選択を慎重に行う必要があることを論じる。
関連論文リスト
- FSDEM: Feature Selection Dynamic Evaluation Metric [1.54369283425087]
提案手法は,特徴選択アルゴリズムの性能と安定性の両方を評価できる2つの特性を持つ動的計量である。
本研究では,提案手法を用いて特徴選択アルゴリズムの評価に成功した経験的実験を行った。
論文 参考訳（メタデータ） (2024-08-26T12:49:41Z) - Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。
本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
論文 参考訳（メタデータ） (2024-03-21T10:31:11Z) - On Pixel-level Performance Assessment in Anomaly Detection [87.7131059062292]
異常検出法は様々な応用において顕著な成功を収めている。
しかし、特にピクセルレベルでのパフォーマンスを評価することは複雑な課題である。
本稿では,視覚的エビデンスと統計的分析により,この課題の複雑さを解明する。
論文 参考訳（メタデータ） (2023-10-25T08:02:27Z) - Unsupervised Anomaly Detection in Time-series: An Extensive Evaluation and Analysis of State-of-the-art Methods [10.618572317896515]
時系列における教師なし異常検出は文献で広く研究されている。
本稿では,近年の時系列における教師なし異常検出手法の詳細な評価手法を提案する。
論文 参考訳（メタデータ） (2022-12-06T15:05:54Z) - A Comparative Study on Unsupervised Anomaly Detection for Time Series:
Experiments and Analysis [28.79393419730138]
時系列異常検出は、信頼性と安全性を実現するためにしばしば不可欠である。
近年,時系列データの異常検出が盛んに行われている。
データ、メソッド、評価戦略について紹介する。
我々は,最先端技術とディープラーニング技術とを体系的に評価し,比較した。
論文 参考訳（メタデータ） (2022-09-10T10:44:25Z) - Estimation of Fair Ranking Metrics with Incomplete Judgments [70.37717864975387]
本研究では,4つの評価指標のサンプリング手法と推定手法を提案する。
ラベル付きアイテムの数が極めて少ない場合でも動作可能な頑健で偏りのない推定器を定式化する。
論文 参考訳（メタデータ） (2021-08-11T10:57:00Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳（メタデータ） (2021-03-31T18:28:14Z) - Characterizing and comparing external measures for the assessment of
cluster analysis and community detection [1.5543116359698947]
文献では、同じ集合の2つの分割を比較するために、多くの外部評価尺度が提案されている。
これにより、与えられた状況に対して最も適切な尺度を選択することがエンドユーザの課題となる。
本稿では,この問題を解決するための新しい経験的評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-01T09:10:25Z) - Quantitative Evaluations on Saliency Methods: An Experimental Study [6.290238942982972]
我々は, 忠実性, 局在性, 偽陽性, 感度チェック, 安定性など, 指標の現状を簡単に要約する。
比較したすべての手法の中で、すべての指標において1つの説明法が他を圧倒することはないと結論づける。
論文 参考訳（メタデータ） (2020-12-31T14:13:30Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳（メタデータ） (2020-10-24T08:30:20Z) - Towards Question-Answering as an Automatic Metric for Evaluating the
Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。
提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文 参考訳（メタデータ） (2020-10-01T15:33:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。