論文の概要: Towards a Rigorous Evaluation of Time-series Anomaly Detection

• arxiv url: http://arxiv.org/abs/2109.05257v1
• Date: Sat, 11 Sep 2021 11:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:58:31.753616
• Title: Towards a Rigorous Evaluation of Time-series Anomaly Detection
• Title（参考訳）: 時系列異常検出の厳密な評価に向けて
• Authors: Siwon Kim, Kukjin Choi, Hyun-Soo Choi, Byunghan Lee, and Sungroh Yoon
• Abstract要約: 近年、時系列異常検出(TAD)に関する研究が、ベンチマークTADデータセット上で高いF1スコアを報告している。 ほとんどの研究は点調整(PA)と呼ばれる特異な評価プロトコルを採点前に適用している。 本稿では,PAプロトコルが検出性能を過大評価する可能性が大きいことを明らかにする。
• 参考スコア（独自算出の注目度）: 15.577148857778484
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In recent years, proposed studies on time-series anomaly detection (TAD) report high F1 scores on benchmark TAD datasets, giving the impression of clear improvements. However, most studies apply a peculiar evaluation protocol called point adjustment (PA) before scoring. In this paper, we theoretically and experimentally reveal that the PA protocol has a great possibility of overestimating the detection performance; that is, even a random anomaly score can easily turn into a state-of-the-art TAD method. Therefore, the comparison of TAD methods with F1 scores after the PA protocol can lead to misguided rankings. Furthermore, we question the potential of existing TAD methods by showing that an untrained model obtains comparable detection performance to the existing methods even without PA. Based on our findings, we propose a new baseline and an evaluation protocol. We expect that our study will help a rigorous evaluation of TAD and lead to further improvement in future researches.
• Abstract（参考訳）: 近年、時系列異常検出(TAD)に関する研究が、ベンチマークTADデータセットに高いF1スコアを報告し、明確な改善の印象を与えている。 しかし、ほとんどの研究は点調整(PA)と呼ばれる特異な評価プロトコルを適用している。 本稿では,PAプロトコルが検出性能を過大評価する可能性が大きいことを理論的,実験的に明らかにする。 したがって、PAプロトコル以降のTAD法とF1スコアとの比較は、誤ったランク付けにつながる可能性がある。 さらに,未学習モデルがpaなしでも既存の手法に匹敵する検出性能が得られることを示すことにより,既存のtad手法の可能性に疑問を呈する。 そこで本研究では,新たなベースラインと評価プロトコルを提案する。 我々は,本研究がTADの厳格な評価に役立ち,今後の研究のさらなる改善につながることを期待する。

関連論文リスト

• Position: Quo Vadis, Unsupervised Time Series Anomaly Detection? [11.269007806012931]
  Timeseries Anomaly Detection (TAD)における機械学習奨学金の現状は、欠陥のある評価指標の持続的使用に悩まされている。 本稿は,TADにおける現状を批判的に分析し,現在の研究の誤解を招きかねない軌跡を明らかにした。
  論文  参考訳（メタデータ） (2024-05-04T14:43:31Z)
• Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
  我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。 Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。 複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:00:47Z)
• Beyond AUROC & co. for evaluating out-of-distribution detection performance [50.88341818412508]
  安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。 我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:51:32Z)
• On Pitfalls of Test-Time Adaptation [82.8392232222119]
  TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。 TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
  論文  参考訳（メタデータ） (2023-06-06T09:35:29Z)
• Evaluation Strategy of Time-series Anomaly Detection with Decay Function [1.713291434132985]
  本稿では、時間列異常検出アルゴリズムを評価するために、減衰関数付きポイント調整プロトコル(PAdf)と呼ばれる新しい評価プロトコルを提案する。 本稿では,PAdfプロトコルが既存のプロトコルの過度および過小評価問題を解決することを理論的,実験的に示す。
  論文  参考訳（メタデータ） (2023-05-15T23:55:49Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• A Semi-Bayesian Nonparametric Estimator of the Maximum Mean Discrepancy Measure: Applications in Goodness-of-Fit Testing and Generative Adversarial Networks [3.623570119514559]
  そこで我々は,GoF(Goness-of-fit)テストのための半ベイズ非パラメトリック(セミBNP)手順を提案する。 提案手法は,最大平均誤差(MMD)測定のための新しいベイズ推定器を提案する。 提案手法は, 誤り仮説の誤認率と受理率を低くすることで, 頻繁なMDD法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-05T10:36:21Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)
• Boosting Out-of-Distribution Detection with Multiple Pre-trained Models [41.66566916581451]
  事前訓練されたモデルを用いたポストホック検出は有望な性能を示し、大規模にスケールできる。 本稿では,事前訓練されたモデルの動物園から抽出した複数の検出決定をアンサンブルすることで,検出強化手法を提案する。 CIFAR10 と ImageNet のベンチマークでは, 相対性能を 65.40% と 26.96% で大幅に改善した。
  論文  参考訳（メタデータ） (2022-12-24T12:11:38Z)
• Manual Evaluation Matters: Reviewing Test Protocols of Distantly Supervised Relation Extraction [61.48964753725744]
  2つのDS-REデータセット(NYT10とWiki20)に対して手動でアノテートしたテストセットを構築し、いくつかの競合モデルを徹底的に評価する。 その結果,手動による評価は,自動的な評価とは全く異なる結論を示すことがわかった。
  論文  参考訳（メタデータ） (2021-05-20T06:55:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。