論文の概要: Local Evaluation of Time Series Anomaly Detection Algorithms
- arxiv url: http://arxiv.org/abs/2206.13167v1
- Date: Mon, 27 Jun 2022 10:18:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 15:56:13.008145
- Title: Local Evaluation of Time Series Anomaly Detection Algorithms
- Title（参考訳）: 時系列異常検出アルゴリズムの局所評価
- Authors: Alexis Huet and Jose Manuel Navarro and Dario Rossi
- Abstract要約: 本稿では,弱い仮定下でのほとんどすべてのデータセットに対して,逆アルゴリズムが高精度に到達し,リコール可能であることを示す。
本稿では,精度/リコール指標に対する理論的基盤,頑健,パラメータフリー,解釈可能な拡張を提案する。
- 参考スコア（独自算出の注目度）: 9.717823994163277
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, specific evaluation metrics for time series anomaly
detection algorithms have been developed to handle the limitations of the
classical precision and recall. However, such metrics are heuristically built
as an aggregate of multiple desirable aspects, introduce parameters and wipe
out the interpretability of the output. In this article, we first highlight the
limitations of the classical precision/recall, as well as the main issues of
the recent event-based metrics -- for instance, we show that an adversary
algorithm can reach high precision and recall on almost any dataset under weak
assumption. To cope with the above problems, we propose a theoretically
grounded, robust, parameter-free and interpretable extension to
precision/recall metrics, based on the concept of ``affiliation'' between the
ground truth and the prediction sets. Our metrics leverage measures of duration
between ground truth and predictions, and have thus an intuitive
interpretation. By further comparison against random sampling, we obtain a
normalized precision/recall, quantifying how much a given set of results is
better than a random baseline prediction. By construction, our approach keeps
the evaluation local regarding ground truth events, enabling fine-grained
visualization and interpretation of algorithmic results. We compare our
proposal against various public time series anomaly detection datasets,
algorithms and metrics. We further derive theoretical properties of the
affiliation metrics that give explicit expectations about their behavior and
ensure robustness against adversary strategies.
- Abstract（参考訳）: 近年,古典的精度とリコールの限界に対処するため,時系列異常検出アルゴリズムの具体的な評価指標が開発されている。
しかしながら、これらのメトリクスはヒューリスティックに複数の望ましい側面の集約として構築され、パラメータを導入し、出力の解釈可能性を排除する。
この記事では、まず、古典的な精度/リコールの限界と、最近のイベントベースのメトリクスの主な問題を紹介します。例えば、敵アルゴリズムが高い精度に達し、弱い仮定の下でほぼすべてのデータセットをリコールできることを示します。
上記の問題に対処するために、基礎的真理と予測集合との'アフィリエーション'の概念に基づいて、精度/リコールメトリクスの理論的根拠、ロバスト、パラメータフリー、解釈可能な拡張を提案する。
提案手法は, 地上の真理と予測の期間を計測し, 直観的な解釈を行う。
ランダムサンプリングに対するさらなる比較により、与えられた結果セットがランダムなベースライン予測よりもどれだけ優れているかを定量化する正規化精度/リコールが得られる。
本手法は,基礎的真理事象を局所的に評価し,詳細な可視化とアルゴリズム的結果の解釈を可能にする。
提案手法を,各種公開時系列異常検出データセット,アルゴリズム,メトリクスと比較した。
我々はさらに,その行動に対する明確な期待を与え,敵戦略に対する堅牢性を確保するアフィリエーション指標の理論的特性を導出する。
関連論文リスト
- Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Score Matching-based Pseudolikelihood Estimation of Neural Marked
Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。
具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。
提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
論文 参考訳（メタデータ） (2023-10-25T02:37:51Z) - Leveraging Variational Autoencoders for Parameterized MMSE Estimation [10.141454378473972]
条件付き線形最小二乗誤差推定器のパラメータ化のための変分オートエンコーダに基づくフレームワークを提案する。
導出した推定器は、推定問題の生成前として変分オートエンコーダを用いて最小平均2乗誤差推定器を近似する。
提案手法と最小平均二乗誤差推定器の差分を限定して厳密な解析を行う。
論文 参考訳（メタデータ） (2023-07-11T15:41:34Z) - Conformal Prediction with Missing Values [19.18178194789968]
まず,共形予測の限界カバレッジ保証が,不一致分布のインプットデータに当てはまることを示す。
次に、インプットされたデータに基づいてトレーニングされた普遍的に一貫した量子レグレッションアルゴリズムが、ピンボールリスクに対してベイズ最適であることを示す。
論文 参考訳（メタデータ） (2023-06-05T09:28:03Z) - Pedestrian Trajectory Forecasting Using Deep Ensembles Under Sensing
Uncertainty [125.41260574344933]
エンコーダ・デコーダをベースとした深層アンサンブルネットワークは,認識と予測の不確実性の両方を同時に捕捉する。
全体として、深層アンサンブルはより堅牢な予測を提供し、上流の不確実性の考慮により、モデルの推定精度をさらに高めた。
論文 参考訳（メタデータ） (2023-05-26T04:27:48Z) - Sequential Predictive Conformal Inference for Time Series [16.38369532102931]
逐次データ(例えば時系列)に対する分布自由共形予測アルゴリズムを提案する。
具体的には,時系列データは交換不可能であり,既存の共形予測アルゴリズムでは適用できない性質を具体的に説明する。
論文 参考訳（メタデータ） (2022-12-07T05:07:27Z) - Deep Subspace Encoders for Nonlinear System Identification [0.0]
そこで本稿では,状態推定にトラッピング予測損失とサブスペースエンコーダを用いる手法を提案する。
軽度条件下では,提案手法は局所的に一貫性があり,最適化安定性が向上し,データ効率が向上することを示す。
論文 参考訳（メタデータ） (2022-10-26T16:04:38Z) - Efficient and Differentiable Conformal Prediction with General Function
Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。
本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。
実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文 参考訳（メタデータ） (2022-02-22T18:37:23Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Unifying Lower Bounds on Prediction Dimension of Consistent Convex
Surrogates [12.751555473216683]
予測タスクを考えると、一貫した凸サーロゲート損失を設計できるかどうかを理解することは、機械学習研究の重要な領域です。
我々はこれらの設定をプロパティ・エリシテーションのツールを用いて統一し、予測次元の一般的な下限を与える。
我々の下限は、離散的な予測の場合の既存の結果を厳しくし、以前のキャリブレーションに基づく境界は、主にプロパティ・エリケーションによって回復可能であることを示す。
連続推定では, リスクと不確実性の指標を推定し, 未解決の問題に対処する。
論文 参考訳（メタデータ） (2021-02-16T15:29:05Z) - Orthogonal Statistical Learning [49.55515683387805]
人口リスクが未知のニュアンスパラメータに依存するような環境では,統計学習における非漸近的過剰リスク保証を提供する。
人口リスクがNeymanityと呼ばれる条件を満たす場合,メタアルゴリズムによって達成される過剰リスクに対するニュアンス推定誤差の影響は2次であることを示す。
論文 参考訳（メタデータ） (2019-01-25T02:21:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。