論文の概要: Semi-supervised learning via DQN for log anomaly detection

• arxiv url: http://arxiv.org/abs/2401.03151v2
• Date: Tue, 30 Jul 2024 14:54:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 22:29:35.614476
• Title: Semi-supervised learning via DQN for log anomaly detection
• Title（参考訳）: ログ異常検出のためのDQNを用いた半教師付き学習
• Authors: Yingying He, Xiaobing Pei,
• Abstract要約: ログ異常検出における現在の手法は、ラベルなしデータの未使用、正規クラスと異常クラスのデータの不均衡、偽陽性と偽陰性率などの課題に直面している。 本稿では,DQNLogと呼ばれる半教師付きログ異常検出手法を提案する。 広く使われている3つのデータセット上でDQNLogを評価し、大規模未ラベルデータを効果的に活用できることを実証した。
• 参考スコア（独自算出の注目度）: 1.5339370927841764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Log anomaly detection is a critical component in modern software system security and maintenance, serving as a crucial support and basis for system monitoring, operation, and troubleshooting. It aids operations personnel in timely identification and resolution of issues. However, current methods in log anomaly detection still face challenges such as underutilization of unlabeled data, imbalance between normal and anomaly class data, and high rates of false positives and false negatives, leading to insufficient effectiveness in anomaly recognition. In this study, we propose a semi-supervised log anomaly detection method named DQNLog, which integrates deep reinforcement learning to enhance anomaly detection performance by leveraging a small amount of labeled data and large-scale unlabeled data. To address issues of imbalanced data and insufficient labeling, we design a state transition function biased towards anomalies based on cosine similarity, aiming to capture semantic-similar anomalies rather than favoring the majority class. To enhance the model's capability in learning anomalies, we devise a joint reward function that encourages the model to utilize labeled anomalies and explore unlabeled anomalies, thereby reducing false positives and false negatives. Additionally, to prevent the model from deviating from normal trajectories due to misestimation, we introduce a regularization term in the loss function to ensure the model retains prior knowledge during updates. We evaluate DQNLog on three widely used datasets, demonstrating its ability to effectively utilize large-scale unlabeled data and achieve promising results across all experimental datasets.
• Abstract（参考訳）: ログ異常検出は、現代のソフトウェアシステムのセキュリティとメンテナンスにおいて重要なコンポーネントであり、システム監視、運用、トラブルシューティングの重要なサポートと基盤となっている。 運用担当者のタイムリーな識別と問題解決を支援する。 しかし、ログ異常検出の現在の手法は、ラベルなしデータの未使用、正規クラスと異常クラスのデータの不均衡、偽陽性と偽陰性の高率といった課題に直面しており、異常認識では不十分である。 本研究では,DQNLogと呼ばれる半教師付きログ異常検出手法を提案する。この手法は,少量のラベル付きデータと大規模ラベルなしデータを活用することにより,深層強化学習を統合して異常検出性能を向上させる。 不均衡なデータやラベル付けが不十分な問題に対処するため,コサイン類似性に基づく状態遷移関数を設計する。 モデルが異常を学習する能力を高めるために,ラベル付き異常を利用してラベル付き異常を探索し,偽陽性や偽陰性を減少させる共同報酬関数を考案した。 また、誤推定によりモデルが通常の軌道から逸脱することを防止するため、損失関数に正規化項を導入し、更新中にモデルが事前の知識を保持することを保証する。 我々は、DQNLogを3つの広く使用されているデータセットで評価し、大規模未ラベルデータを効果的に活用し、すべての実験データセットで有望な結果を達成する能力を示した。

関連論文リスト

• Deep Positive-Unlabeled Anomaly Detection for Contaminated Unlabeled Data [31.029029510114448]
  既存の半教師付きアプローチでは、ラベルなしデータは概ね正常であると仮定する。 本稿では, 正の未ラベル学習に基づく正の未ラベルオートエンコーダと, オートエンコーダのような異常検出器を提案する。 提案手法は既存の手法よりも優れた検出性能を実現する。
  論文  参考訳（メタデータ） (2024-05-29T09:34:47Z)
• RoSAS: Deep Semi-Supervised Anomaly Detection with Contamination-Resilient Continuous Supervision [21.393509817509464]
  本稿では, テクスト汚染耐性連続監視信号を考案した, 半教師付き異常検出手法を提案する。 当社のアプローチは、AUC-PRにおいて最先端の競合他社を20%-30%上回っている。
  論文  参考訳（メタデータ） (2023-07-25T04:04:49Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Are we certain it's anomalous? [57.729669157989235]
  時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。 本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。 HypADは自己指導で入力信号を再構築する。
  論文  参考訳（メタデータ） (2022-11-16T21:31:39Z)
• SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation [77.71161225100927]
  異常検出は、機械学習の基本的な問題であるが、難しい問題である。 本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:53:43Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Understanding the Effect of Bias in Deep Anomaly Detection [15.83398707988473]
  異常検出はラベル付き異常データの不足のため、機械学習においてユニークな課題となる。 最近の研究は、追加のラベル付き異常サンプルによる深部異常検出モデルのトレーニングを増強することで、このような問題を緩和しようとするものである。 本稿では,異常検出に対するバイアス付き異常集合の効果を理解することを目的とする。
  論文  参考訳（メタデータ） (2021-05-16T03:55:02Z)
• Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data [150.9270911031327]
  本稿では,一部のラベル付き異常事例と大規模ラベルなしデータセットを用いた異常検出の問題点について考察する。 既存の関連手法は、通常、一連の異常にまたがらない限られた異常例にのみ適合するか、ラベルのないデータから教師なしの学習を進めるかのいずれかである。 そこで本研究では,ラベル付きおよびラベルなし両方の異常の検出をエンドツーエンドに最適化する,深層強化学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-15T03:05:39Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。