論文の概要: Exploring the Impact of Outlier Variability on Anomaly Detection Evaluation Metrics

• arxiv url: http://arxiv.org/abs/2409.15986v1
• Date: Tue, 24 Sep 2024 11:39:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 07:42:12.614476
• Title: Exploring the Impact of Outlier Variability on Anomaly Detection Evaluation Metrics
• Title（参考訳）: 外乱変動が異常検出評価指標に及ぼす影響を探る
• Authors: Minjae Ok, Simon Klüttermann, Emmanuel Müller,
• Abstract要約: 本研究では,異なる条件下で広く使用されている3つの異常検出指標の挙動について検討する。 本稿では,これらの指標の従来の理解に挑戦し,様々な条件下でのニュアンスな行動を明らかにする。 本研究は、異常検出における計量選択と解釈のより洗練された理解に寄与し、この分野の研究者と実践者の両方に貴重な洞察を提供する。
• 参考スコア（独自算出の注目度）: 4.943054375935879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Anomaly detection is a dynamic field, in which the evaluation of models plays a critical role in understanding their effectiveness. The selection and interpretation of the evaluation metrics are pivotal, particularly in scenarios with varying amounts of anomalies. This study focuses on examining the behaviors of three widely used anomaly detection metrics under different conditions: F1 score, Receiver Operating Characteristic Area Under Curve (ROC AUC), and Precision-Recall Curve Area Under Curve (AUCPR). Our study critically analyzes the extent to which these metrics provide reliable and distinct insights into model performance, especially considering varying levels of outlier fractions and contamination thresholds in datasets. Through a comprehensive experimental setup involving widely recognized algorithms for anomaly detection, we present findings that challenge the conventional understanding of these metrics and reveal nuanced behaviors under varying conditions. We demonstrated that while the F1 score and AUCPR are sensitive to outlier fractions, the ROC AUC maintains consistency and is unaffected by such variability. Additionally, under conditions of a fixed outlier fraction in the test set, we observe an alignment between ROC AUC and AUCPR, indicating that the choice between these two metrics may be less critical in such scenarios. The results of our study contribute to a more refined understanding of metric selection and interpretation in anomaly detection, offering valuable insights for both researchers and practitioners in the field.
• Abstract（参考訳）: 異常検出は、モデルの評価がそれらの有効性を理解する上で重要な役割を果たすダイナミックフィールドである。 評価指標の選択と解釈は、特に様々な量の異常のあるシナリオにおいて重要である。 本研究は、F1スコア、受信器動作特性領域(ROC AUC)、精度-リコール曲線領域(AUCPR)の3つの異なる条件下で広く使用されている異常検出指標の挙動を調べることに焦点を当てた。 本研究は,これらの指標がモデル性能に対する信頼性と異なる洞察を与える範囲について,特にデータセットのアウトリーフ率や汚染閾値の変動を考慮した分析を行った。 異常検出のためのアルゴリズムが広く認識されている包括的実験装置を通じて、これらの指標の従来の理解に挑戦し、様々な条件下でのニュアンスな振る舞いを明らかにする知見を提示する。 我々は, F1スコアとAUCPRが外れ率に敏感であるのに対して, ROC AUCは整合性を維持し, 変動性には影響しないことを示した。 さらに、テストセットの固定外周率の条件下では、ROC AUCとAUCPRの整合性が観察され、これらの2つの指標の選択がそのようなシナリオでは重要でない可能性が示唆された。 本研究は、異常検出における計量選択と解釈のより洗練された理解に寄与し、この分野の研究者と実践者の両方に貴重な洞察を提供する。

関連論文リスト

• Performance Metric for Multiple Anomaly Score Distributions with Discrete Severity Levels [4.66313002591741]
  本稿では, 受信機動作特性曲線(WS-AUROC)に基づいて, 異常スコアに基づいて重み付けされた領域の重み付け和を提案する。 また、分布の明確な分離を実現し、WS-AUROCおよびAUROCメトリクスのアブレーションモデルより優れる異常検出器を提案する。
  論文  参考訳（メタデータ） (2024-08-09T02:17:49Z)
• Harnessing Feature Clustering For Enhanced Anomaly Detection With Variational Autoencoder And Dynamic Threshold [0.0]
  北極圏の融雪のような極端な気候現象に影響を及ぼす臨界期間と特徴を識別する異常検出手法を導入する。 この方法は動的しきい値と相関に基づく特徴クラスタリングと統合された変分オートエンコーダを利用する。 この枠組みは、VAEが局所的な依存関係を識別し、気候データにおける時間的関係を学習する能力を高める。
  論文  参考訳（メタデータ） (2024-07-14T01:52:10Z)
• Challenges and Considerations in the Evaluation of Bayesian Causal Discovery [49.0053848090947]
  因果発見の不確実性を表現することは、実験設計において重要な要素であり、より広く、安全で信頼性の高い因果決定のために重要である。 単一の推定因果グラフとモデルパラメータによる評価に依存する非ベイズ因果発見とは異なり、因果発見はその量の性質に起因する課題を提示する。 評価に最も適した指標についてのコンセンサスはない。
  論文  参考訳（メタデータ） (2024-06-05T12:45:23Z)
• Meta-Learners for Partially-Identified Treatment Effects Across Multiple Environments [67.80453452949303]
  観察データから条件平均治療効果(CATE)を推定することは、パーソナライズされた医療など多くの応用に関係している。 ここでは、観測データが複数の環境からやってくる広範囲な環境に焦点を当てる。 任意の機械学習モデルと組み合わせて使用可能な境界を推定するために、異なるモデルに依存しない学習者(いわゆるメタ学習者)を提案する。
  論文  参考訳（メタデータ） (2024-06-04T16:31:43Z)
• Unraveling the "Anomaly" in Time Series Anomaly Detection: A Self-supervised Tri-domain Solution [89.16750999704969]
  異常ラベルは時系列異常検出において従来の教師付きモデルを妨げる。 自己教師型学習のような様々なSOTA深層学習技術がこの問題に対処するために導入されている。 自己教師型3領域異常検出器(TriAD)を提案する。
  論文  参考訳（メタデータ） (2023-11-19T05:37:18Z)
• An Iterative Method for Unsupervised Robust Anomaly Detection Under Data Contamination [24.74938110451834]
  ほとんどの深層異常検出モデルは、データセットから正規性を学ぶことに基づいている。 実際、正規性仮定は実データ分布の性質によってしばしば破られる。 このギャップを減らし、より優れた正規性表現を実現するための学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T02:36:19Z)
• A Study of Representational Properties of Unsupervised Anomaly Detection in Brain MRI [1.376408511310322]
  異常検出の教師なし手法は、分解に関連する特性を観察する方法を提供する。 既存の4つのモデリング手法について検討し、簡単なデータサイエンスツールを用いた経験的観察を報告する。 本研究は, 分解関連特性を示す異常検出アルゴリズムが, 導電能に優れたキャパシタであることが示唆された。
  論文  参考訳（メタデータ） (2022-11-28T16:38:34Z)
• SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation [77.71161225100927]
  異常検出は、機械学習の基本的な問題であるが、難しい問題である。 本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:53:43Z)
• Understanding the Effect of Bias in Deep Anomaly Detection [15.83398707988473]
  異常検出はラベル付き異常データの不足のため、機械学習においてユニークな課題となる。 最近の研究は、追加のラベル付き異常サンプルによる深部異常検出モデルのトレーニングを増強することで、このような問題を緩和しようとするものである。 本稿では,異常検出に対するバイアス付き異常集合の効果を理解することを目的とする。
  論文  参考訳（メタデータ） (2021-05-16T03:55:02Z)
• Deconfounded Score Method: Scoring DAGs with Dense Unobserved Confounding [101.35070661471124]
  本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。 汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-28T11:07:59Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。