論文の概要: Semi-supervised learning via DQN for log anomaly detection
- arxiv url: http://arxiv.org/abs/2401.03151v1
- Date: Sat, 6 Jan 2024 08:04:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 20:09:29.789125
- Title: Semi-supervised learning via DQN for log anomaly detection
- Title(参考訳): ログ異常検出のためのDQNを用いた半教師付き学習
- Authors: Yingying He and Xiaobing Pei and Lihong Shen
- Abstract要約: 本稿では,DQNLogと呼ばれる深層強化学習からDQNアルゴリズムを組み合わせた半教師付きログ異常検出手法を提案する。
DQNLogは精度を保ちながらリコール率とF1スコアを大幅に改善し,実用性を検証した。
- 参考スコア(独自算出の注目度): 1.5339370927841764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Log anomaly detection plays a critical role in ensuring the security and
maintenance of modern software systems. At present, the primary approach for
detecting anomalies in log data is through supervised anomaly detection.
Nonetheless, existing supervised methods heavily rely on labeled data, which
can be frequently limited in real-world scenarios. In this paper, we propose a
semi-supervised log anomaly detection method that combines the DQN algorithm
from deep reinforcement learning, which is called DQNLog. DQNLog leverages a
small amount of labeled data and a large-scale unlabeled dataset, effectively
addressing the challenges of imbalanced data and limited labeling. This
approach not only learns known anomalies by interacting with an environment
biased towards anomalies but also discovers unknown anomalies by actively
exploring the unlabeled dataset. Additionally, DQNLog incorporates a
cross-entropy loss term to prevent model overestimation during Deep
Reinforcement Learning (DRL). Our evaluation on three widely-used datasets
demonstrates that DQNLog significantly improves recall rate and F1-score while
maintaining precision, validating its practicality.
- Abstract(参考訳): ログ異常検出は、現代のソフトウェアシステムのセキュリティとメンテナンスを確保する上で重要な役割を果たす。
現在、ログデータの異常を検出するための主要なアプローチは、教師付き異常検出である。
それでも既存の教師付きメソッドはラベル付きデータに大きく依存しており、現実のシナリオでは制限されることが多い。
本稿では,DQNLogと呼ばれる深層強化学習からのDQNアルゴリズムを組み合わせた半教師付きログ異常検出手法を提案する。
DQNLogは少量のラベル付きデータと大規模なラベルなしデータセットを活用し、不均衡なデータと限定的なラベル付けの課題に効果的に対処する。
このアプローチは、異常に偏った環境と相互作用することで既知の異常を学習するだけでなく、ラベルのないデータセットを積極的に探索することで未知の異常を発見する。
さらに、DQNLogは、Deep Reinforcement Learning(DRL)中のモデル過大評価を防ぐために、クロスエントロピー損失項を組み込んでいる。
DQNLogは精度を保ちながらリコール率とF1スコアを大幅に改善し,実用性を検証した。
関連論文リスト
- Unraveling the "Anomaly" in Time Series Anomaly Detection: A
Self-supervised Tri-domain Solution [89.16750999704969]
異常ラベルは時系列異常検出において従来の教師付きモデルを妨げる。
自己教師型学習のような様々なSOTA深層学習技術がこの問題に対処するために導入されている。
自己教師型3領域異常検出器(TriAD)を提案する。
論文 参考訳(メタデータ) (2023-11-19T05:37:18Z) - A Critical Review of Common Log Data Sets Used for Evaluation of
Sequence-based Anomaly Detection Techniques [2.5339493426758906]
6つの公開ログデータセットを解析し,異常の顕在化と検出のための簡単な手法に着目した。
以上の結果から,ほとんどの異常は逐次的出現とは直接関係がなく,これらのデータセットに対して高い検出率を達成するために高度な検出技術は必要ないことが示唆された。
論文 参考訳(メタデータ) (2023-09-06T09:31:17Z) - Multivariate Time-Series Anomaly Detection with Contaminated Data [9.46389554092506]
本稿では,トレーニングデータを異常で汚染した場合に,新しいかつ実用的な非教師付きTSADを提案する。
TSAD-Cと呼ばれるアプローチでは、トレーニングフェーズ中に異常ラベルにアクセスできない。
3つの信頼性データセットを用いて実験を行い,提案手法が既存の手法を超えることを確定的に実証した。
論文 参考訳(メタデータ) (2023-08-24T05:10:18Z) - Graph Neural Networks based Log Anomaly Detection and Explanation [19.66344385835598]
イベントログは、ハイテクシステムのステータスを記録するために広く使用されている。
ほとんどの既存のログ異常検出方法は、ログイベントカウント行列またはログイベントシーケンスを入力として取り込む。
我々はLogs2Graphsと呼ばれる教師なしログ異常検出のためのグラフベースの手法を提案する。
論文 参考訳(メタデータ) (2023-07-02T09:38:43Z) - PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。
我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2023-01-25T16:34:43Z) - LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak
Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。
本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。
我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文 参考訳(メタデータ) (2021-11-02T15:16:08Z) - TadGAN: Time Series Anomaly Detection Using Generative Adversarial
Networks [73.01104041298031]
TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。
時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。
提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
論文 参考訳(メタデータ) (2020-09-16T15:52:04Z) - Toward Deep Supervised Anomaly Detection: Reinforcement Learning from
Partially Labeled Anomaly Data [150.9270911031327]
本稿では,一部のラベル付き異常事例と大規模ラベルなしデータセットを用いた異常検出の問題点について考察する。
既存の関連手法は、通常、一連の異常にまたがらない限られた異常例にのみ適合するか、ラベルのないデータから教師なしの学習を進めるかのいずれかである。
そこで本研究では,ラベル付きおよびラベルなし両方の異常の検出をエンドツーエンドに最適化する,深層強化学習に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2020-09-15T03:05:39Z) - Self-Attentive Classification-Based Anomaly Detection in Unstructured
Logs [59.04636530383049]
ログ表現を学習するための分類法であるLogsyを提案する。
従来の方法と比較して,F1スコアの平均0.25の改善を示す。
論文 参考訳(メタデータ) (2020-08-21T07:26:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。