論文の概要: Semi-supervised learning via DQN for log anomaly detection
- arxiv url: http://arxiv.org/abs/2401.03151v2
- Date: Tue, 30 Jul 2024 14:54:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 22:29:35.614476
- Title: Semi-supervised learning via DQN for log anomaly detection
- Title(参考訳): ログ異常検出のためのDQNを用いた半教師付き学習
- Authors: Yingying He, Xiaobing Pei,
- Abstract要約: ログ異常検出における現在の手法は、ラベルなしデータの未使用、正規クラスと異常クラスのデータの不均衡、偽陽性と偽陰性率などの課題に直面している。
本稿では,DQNLogと呼ばれる半教師付きログ異常検出手法を提案する。
広く使われている3つのデータセット上でDQNLogを評価し、大規模未ラベルデータを効果的に活用できることを実証した。
- 参考スコア(独自算出の注目度): 1.5339370927841764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Log anomaly detection is a critical component in modern software system security and maintenance, serving as a crucial support and basis for system monitoring, operation, and troubleshooting. It aids operations personnel in timely identification and resolution of issues. However, current methods in log anomaly detection still face challenges such as underutilization of unlabeled data, imbalance between normal and anomaly class data, and high rates of false positives and false negatives, leading to insufficient effectiveness in anomaly recognition. In this study, we propose a semi-supervised log anomaly detection method named DQNLog, which integrates deep reinforcement learning to enhance anomaly detection performance by leveraging a small amount of labeled data and large-scale unlabeled data. To address issues of imbalanced data and insufficient labeling, we design a state transition function biased towards anomalies based on cosine similarity, aiming to capture semantic-similar anomalies rather than favoring the majority class. To enhance the model's capability in learning anomalies, we devise a joint reward function that encourages the model to utilize labeled anomalies and explore unlabeled anomalies, thereby reducing false positives and false negatives. Additionally, to prevent the model from deviating from normal trajectories due to misestimation, we introduce a regularization term in the loss function to ensure the model retains prior knowledge during updates. We evaluate DQNLog on three widely used datasets, demonstrating its ability to effectively utilize large-scale unlabeled data and achieve promising results across all experimental datasets.
- Abstract(参考訳): ログ異常検出は、現代のソフトウェアシステムのセキュリティとメンテナンスにおいて重要なコンポーネントであり、システム監視、運用、トラブルシューティングの重要なサポートと基盤となっている。
運用担当者のタイムリーな識別と問題解決を支援する。
しかし、ログ異常検出の現在の手法は、ラベルなしデータの未使用、正規クラスと異常クラスのデータの不均衡、偽陽性と偽陰性の高率といった課題に直面しており、異常認識では不十分である。
本研究では,DQNLogと呼ばれる半教師付きログ異常検出手法を提案する。この手法は,少量のラベル付きデータと大規模ラベルなしデータを活用することにより,深層強化学習を統合して異常検出性能を向上させる。
不均衡なデータやラベル付けが不十分な問題に対処するため,コサイン類似性に基づく状態遷移関数を設計する。
モデルが異常を学習する能力を高めるために,ラベル付き異常を利用してラベル付き異常を探索し,偽陽性や偽陰性を減少させる共同報酬関数を考案した。
また、誤推定によりモデルが通常の軌道から逸脱することを防止するため、損失関数に正規化項を導入し、更新中にモデルが事前の知識を保持することを保証する。
我々は、DQNLogを3つの広く使用されているデータセットで評価し、大規模未ラベルデータを効果的に活用し、すべての実験データセットで有望な結果を達成する能力を示した。
関連論文リスト
- DeepHYDRA: Resource-Efficient Time-Series Anomaly Detection in Dynamically-Configured Systems [3.44012349879073]
我々はDeepHYDRA(Deep Hybrid DBSCAN/reduction-based Anomaly Detection)を提案する。
DBSCANと学習ベースの異常検出を組み合わせる。
大規模なデータセットと複雑なデータセットの両方において、異なるタイプの異常を確実に検出できることが示されている。
論文 参考訳(メタデータ) (2024-05-13T13:47:15Z) - Unraveling the "Anomaly" in Time Series Anomaly Detection: A
Self-supervised Tri-domain Solution [89.16750999704969]
異常ラベルは時系列異常検出において従来の教師付きモデルを妨げる。
自己教師型学習のような様々なSOTA深層学習技術がこの問題に対処するために導入されている。
自己教師型3領域異常検出器(TriAD)を提案する。
論文 参考訳(メタデータ) (2023-11-19T05:37:18Z) - A Critical Review of Common Log Data Sets Used for Evaluation of
Sequence-based Anomaly Detection Techniques [2.5339493426758906]
6つの公開ログデータセットを解析し,異常の顕在化と検出のための簡単な手法に着目した。
以上の結果から,ほとんどの異常は逐次的出現とは直接関係がなく,これらのデータセットに対して高い検出率を達成するために高度な検出技術は必要ないことが示唆された。
論文 参考訳(メタデータ) (2023-09-06T09:31:17Z) - Multivariate Time-Series Anomaly Detection with Contaminated Data [9.46389554092506]
本稿では,トレーニングデータを異常で汚染した場合に,新しいかつ実用的な非教師付きTSADを提案する。
TSAD-Cと呼ばれるアプローチでは、トレーニングフェーズ中に異常ラベルにアクセスできない。
3つの信頼性データセットを用いて実験を行い,提案手法が既存の手法を超えることを確定的に実証した。
論文 参考訳(メタデータ) (2023-08-24T05:10:18Z) - Graph Neural Networks based Log Anomaly Detection and Explanation [19.66344385835598]
イベントログは、ハイテクシステムのステータスを記録するために広く使用されている。
ほとんどの既存のログ異常検出方法は、ログイベントカウント行列またはログイベントシーケンスを入力として取り込む。
我々はLogs2Graphsと呼ばれる教師なしログ異常検出のためのグラフベースの手法を提案する。
論文 参考訳(メタデータ) (2023-07-02T09:38:43Z) - PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。
我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2023-01-25T16:34:43Z) - LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak
Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。
本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。
我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文 参考訳(メタデータ) (2021-11-02T15:16:08Z) - TadGAN: Time Series Anomaly Detection Using Generative Adversarial
Networks [73.01104041298031]
TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。
時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。
提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
論文 参考訳(メタデータ) (2020-09-16T15:52:04Z) - Toward Deep Supervised Anomaly Detection: Reinforcement Learning from
Partially Labeled Anomaly Data [150.9270911031327]
本稿では,一部のラベル付き異常事例と大規模ラベルなしデータセットを用いた異常検出の問題点について考察する。
既存の関連手法は、通常、一連の異常にまたがらない限られた異常例にのみ適合するか、ラベルのないデータから教師なしの学習を進めるかのいずれかである。
そこで本研究では,ラベル付きおよびラベルなし両方の異常の検出をエンドツーエンドに最適化する,深層強化学習に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2020-09-15T03:05:39Z) - Self-Attentive Classification-Based Anomaly Detection in Unstructured
Logs [59.04636530383049]
ログ表現を学習するための分類法であるLogsyを提案する。
従来の方法と比較して,F1スコアの平均0.25の改善を示す。
論文 参考訳(メタデータ) (2020-08-21T07:26:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。