論文の概要: Little Help Makes a Big Difference: Leveraging Active Learning to
Improve Unsupervised Time Series Anomaly Detection
- arxiv url: http://arxiv.org/abs/2201.10323v1
- Date: Tue, 25 Jan 2022 13:54:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-26 16:18:22.392255
- Title: Little Help Makes a Big Difference: Leveraging Active Learning to
Improve Unsupervised Time Series Anomaly Detection
- Title（参考訳）: ほとんど役に立たない: 教師なし時系列検出を改善するためにアクティブラーニングを活用する
- Authors: Hamza Bodor, Thai V. Hoang, Zonghua Zhang
- Abstract要約: 予期せぬネットワークインシデントを検出するために,多数の異常検出アルゴリズムがデプロイされている。
教師なし異常検出アルゴリズムは、しばしば過度の誤報に悩まされる。
本稿では,オペレータのフィードバックの導入とメリットをアクティブな学習に活用することを提案する。
- 参考スコア（独自算出の注目度）: 2.1684857243537334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Key Performance Indicators (KPI), which are essentially time series data,
have been widely used to indicate the performance of telecom networks. Based on
the given KPIs, a large set of anomaly detection algorithms have been deployed
for detecting the unexpected network incidents. Generally, unsupervised anomaly
detection algorithms gain more popularity than the supervised ones, due to the
fact that labeling KPIs is extremely time- and resource-consuming, and
error-prone. However, those unsupervised anomaly detection algorithms often
suffer from excessive false alarms, especially in the presence of concept
drifts resulting from network re-configurations or maintenance. To tackle this
challenge and improve the overall performance of unsupervised anomaly detection
algorithms, we propose to use active learning to introduce and benefit from the
feedback of operators, who can verify the alarms (both false and true ones) and
label the corresponding KPIs with reasonable effort. Specifically, we develop
three query strategies to select the most informative and representative
samples to label. We also develop an efficient method to update the weights of
Isolation Forest and optimally adjust the decision threshold, so as to
eventually improve the performance of detection model. The experiments with one
public dataset and one proprietary dataset demonstrate that our active learning
empowered anomaly detection pipeline could achieve performance gain, in terms
of F1-score, more than 50% over the baseline algorithm. It also outperforms the
existing active learning based methods by approximately 6%-10%, with
significantly reduced budget (the ratio of samples to be labeled).
- Abstract（参考訳）: KPI(Key Performance Indicator)は、基本的に時系列データであり、通信ネットワークの性能を示すために広く使われている。
与えられたKPIに基づいて、予期せぬネットワークインシデントを検出するために、大量の異常検出アルゴリズムがデプロイされている。
一般に、教師なし異常検出アルゴリズムは、KPIのラベル付けが非常に時間とリソースを消費し、エラーを起こしやすいため、教師付きアルゴリズムよりも人気がある。
しかしながら、これらの教師なし異常検出アルゴリズムは、特にネットワークの再設定やメンテナンスによる概念のドリフトの存在において、過度の誤報に悩まされることが多い。
この課題に対処し、教師なし異常検出アルゴリズムの全体的な性能を向上させるために、オペレーターのフィードバックを積極的に活用し、アラーム(偽と真の両方)を検証し、対応するKPIを合理的にラベル付けする手法を提案する。
具体的には,最も情報的かつ代表的なサンプルをラベル付けするための3つのクエリ戦略を開発する。
また,分離林の重量を効率的に更新し,決定閾値を最適に調整し,最終的に検出モデルの性能を向上させる方法を開発した。
1つのパブリックデータセットと1つのプロプライエタリデータセットによる実験では、アクティブ学習による異常検出パイプラインが、ベースラインアルゴリズムよりも50%以上パフォーマンス向上を達成できることが示されています。
また、既存のアクティブラーニングベースの手法を約6%-10%上回っており、予算を大幅に削減している(ラベル付けするサンプルの割合)。
関連論文リスト
- A Low-cost Strategic Monitoring Approach for Scalable and Interpretable
Error Detection in Deep Neural Networks [6.537257913467249]
深層コンピュータビジョンネットワークのための高能率ランタイムモニタリング手法を提案する。
ハードウェアメモリと入力障害の両方から発生するサイレントデータの破損を効率よく検出することができる。
論文 参考訳（メタデータ） (2023-10-31T10:45:55Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳（メタデータ） (2023-10-18T02:59:57Z) - Adaptive Thresholding Heuristic for KPI Anomaly Detection [1.57731592348751]
時系列領域では、多くの異常検知器が探索されているが、ビジネス的な意味では、すべての異常検出器が興味のある異常であるわけではない。
本稿では,データ分布の局所特性に基づいて検出閾値を動的に調整し,時系列パターンの変化に適応する適応的閾値保持ヒューリスティック(ATH)を提案する。
実験結果から, ATHは効率が良く, ほぼリアルタイムで異常検出が可能であり, 予測器や異常検出器で柔軟であることがわかった。
論文 参考訳（メタデータ） (2023-08-21T06:45:28Z) - PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。
我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2023-01-25T16:34:43Z) - A Robust and Explainable Data-Driven Anomaly Detection Approach For
Power Electronics [56.86150790999639]
本稿では,2つの異常検出・分類手法,すなわち行列プロファイルアルゴリズムと異常変換器を提案する。
行列プロファイルアルゴリズムは、ストリーミング時系列データにおけるリアルタイム異常を検出するための一般化可能なアプローチとして適している。
検知器の感度、リコール、検出精度を調整するために、一連のカスタムフィルタが作成され、追加される。
論文 参考訳（メタデータ） (2022-09-23T06:09:35Z) - Anomaly Detection with Test Time Augmentation and Consistency Evaluation [13.709281244889691]
本稿では,TTA-AD(Test Time Augmentation Anomaly Detection)と呼ばれる簡易かつ効果的な異常検出アルゴリズムを提案する。
我々は、分散データよりもトレーニングされたネットワーク上でのオリジナルバージョンと拡張バージョンについて、分散データの方が一貫性のある予測を楽しむことを観察した。
様々な高解像度画像ベンチマークデータセットの実験は、TTA-ADが同等またはより良い検出性能を達成することを示した。
論文 参考訳（メタデータ） (2022-06-06T04:27:06Z) - Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。
まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。
次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
論文 参考訳（メタデータ） (2021-12-31T10:03:47Z) - Anomaly Rule Detection in Sequence Data [2.3757190901941736]
本稿では,一組のシーケンスからユーティリティを意識した外部規則の発見を可能にする,DUOSと呼ばれる新しい異常検出フレームワークを提案する。
本研究では,集団の異常性と実用性を両立させ,ユーティリティ・アウェア・アウトリー・ルール(UOSR)の概念を導入する。
論文 参考訳（メタデータ） (2021-11-29T23:52:31Z) - TadGAN: Time Series Anomaly Detection Using Generative Adversarial
Networks [73.01104041298031]
TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。
時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。
提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
論文 参考訳（メタデータ） (2020-09-16T15:52:04Z) - Bayesian Optimization with Machine Learning Algorithms Towards Anomaly
Detection [66.05992706105224]
本稿では,ベイズ最適化手法を用いた効果的な異常検出フレームワークを提案する。
ISCX 2012データセットを用いて検討したアルゴリズムの性能を評価する。
実験結果から, 精度, 精度, 低コストアラームレート, リコールの観点から, 提案手法の有効性が示された。
論文 参考訳（メタデータ） (2020-08-05T19:29:35Z) - Effectiveness of Tree-based Ensembles for Anomaly Discovery: Insights, Batch and Streaming Active Learning [18.49217234413188]
本論文は,木に基づくアンサンブルを用いた異常発見の最先端化に大きく貢献する。
我々は,発見された異常の多様性を改善するために,新しいバッチ能動的学習アルゴリズムを開発した。
本稿では, ドリフトを頑健に検出するだけでなく, 異常検出を原理的に適応するための補正行動を行えるデータドリフト検出アルゴリズムを提案する。
論文 参考訳（メタデータ） (2019-01-23T23:41:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。