論文の概要: Semi-supervised learning via DQN for log anomaly detection

• arxiv url: http://arxiv.org/abs/2401.03151v1
• Date: Sat, 6 Jan 2024 08:04:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 20:09:29.789125
• Title: Semi-supervised learning via DQN for log anomaly detection
• Title（参考訳）: ログ異常検出のためのDQNを用いた半教師付き学習
• Authors: Yingying He and Xiaobing Pei and Lihong Shen
• Abstract要約: 本稿では,DQNLogと呼ばれる深層強化学習からDQNアルゴリズムを組み合わせた半教師付きログ異常検出手法を提案する。 DQNLogは精度を保ちながらリコール率とF1スコアを大幅に改善し,実用性を検証した。
• 参考スコア（独自算出の注目度）: 1.5339370927841764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Log anomaly detection plays a critical role in ensuring the security and maintenance of modern software systems. At present, the primary approach for detecting anomalies in log data is through supervised anomaly detection. Nonetheless, existing supervised methods heavily rely on labeled data, which can be frequently limited in real-world scenarios. In this paper, we propose a semi-supervised log anomaly detection method that combines the DQN algorithm from deep reinforcement learning, which is called DQNLog. DQNLog leverages a small amount of labeled data and a large-scale unlabeled dataset, effectively addressing the challenges of imbalanced data and limited labeling. This approach not only learns known anomalies by interacting with an environment biased towards anomalies but also discovers unknown anomalies by actively exploring the unlabeled dataset. Additionally, DQNLog incorporates a cross-entropy loss term to prevent model overestimation during Deep Reinforcement Learning (DRL). Our evaluation on three widely-used datasets demonstrates that DQNLog significantly improves recall rate and F1-score while maintaining precision, validating its practicality.
• Abstract（参考訳）: ログ異常検出は、現代のソフトウェアシステムのセキュリティとメンテナンスを確保する上で重要な役割を果たす。 現在、ログデータの異常を検出するための主要なアプローチは、教師付き異常検出である。 それでも既存の教師付きメソッドはラベル付きデータに大きく依存しており、現実のシナリオでは制限されることが多い。 本稿では,DQNLogと呼ばれる深層強化学習からのDQNアルゴリズムを組み合わせた半教師付きログ異常検出手法を提案する。 DQNLogは少量のラベル付きデータと大規模なラベルなしデータセットを活用し、不均衡なデータと限定的なラベル付けの課題に効果的に対処する。 このアプローチは、異常に偏った環境と相互作用することで既知の異常を学習するだけでなく、ラベルのないデータセットを積極的に探索することで未知の異常を発見する。 さらに、DQNLogは、Deep Reinforcement Learning(DRL)中のモデル過大評価を防ぐために、クロスエントロピー損失項を組み込んでいる。 DQNLogは精度を保ちながらリコール率とF1スコアを大幅に改善し,実用性を検証した。

関連論文リスト

• Deep Positive-Unlabeled Anomaly Detection for Contaminated Unlabeled Data [31.029029510114448]
  既存の半教師付きアプローチでは、ラベルなしデータは概ね正常であると仮定する。 本稿では, 正の未ラベル学習に基づく正の未ラベルオートエンコーダと, オートエンコーダのような異常検出器を提案する。 提案手法は既存の手法よりも優れた検出性能を実現する。
  論文  参考訳（メタデータ） (2024-05-29T09:34:47Z)
• RoSAS: Deep Semi-Supervised Anomaly Detection with Contamination-Resilient Continuous Supervision [21.393509817509464]
  本稿では, テクスト汚染耐性連続監視信号を考案した, 半教師付き異常検出手法を提案する。 当社のアプローチは、AUC-PRにおいて最先端の競合他社を20%-30%上回っている。
  論文  参考訳（メタデータ） (2023-07-25T04:04:49Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Are we certain it's anomalous? [57.729669157989235]
  時系列における異常検出は、高度に非線形な時間的相関のため、異常は稀であるため、複雑なタスクである。 本稿では,異常検出(HypAD)におけるハイパボリック不確実性の新しい利用法を提案する。 HypADは自己指導で入力信号を再構築する。
  論文  参考訳（メタデータ） (2022-11-16T21:31:39Z)
• SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation [77.71161225100927]
  異常検出は、機械学習の基本的な問題であるが、難しい問題である。 本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:53:43Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Understanding the Effect of Bias in Deep Anomaly Detection [15.83398707988473]
  異常検出はラベル付き異常データの不足のため、機械学習においてユニークな課題となる。 最近の研究は、追加のラベル付き異常サンプルによる深部異常検出モデルのトレーニングを増強することで、このような問題を緩和しようとするものである。 本稿では,異常検出に対するバイアス付き異常集合の効果を理解することを目的とする。
  論文  参考訳（メタデータ） (2021-05-16T03:55:02Z)
• Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data [150.9270911031327]
  本稿では,一部のラベル付き異常事例と大規模ラベルなしデータセットを用いた異常検出の問題点について考察する。 既存の関連手法は、通常、一連の異常にまたがらない限られた異常例にのみ適合するか、ラベルのないデータから教師なしの学習を進めるかのいずれかである。 そこで本研究では,ラベル付きおよびラベルなし両方の異常の検出をエンドツーエンドに最適化する,深層強化学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-15T03:05:39Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。