論文の概要: Improving log-based anomaly detection through learned adaptive filter

• arxiv url: http://arxiv.org/abs/2504.02994v1
• Date: Thu, 03 Apr 2025 19:31:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:47:20.932177
• Title: Improving log-based anomaly detection through learned adaptive filter
• Title（参考訳）: 学習適応フィルタによるログベース異常検出の改善
• Authors: Yiyuan Xiong, Shaofeng Cai,
• Abstract要約: State-of-the-the-art unsupervised methodは、ログシーケンスが与えられた次のログイベントを予測し、同じフィルタ条件を使用する固定設定を適用する。 深部強化学習(DRL)は、動的環境におけるインテリジェントな意思決定に広く応用されている。 DRLに基づく新しい手法を提案し、学習適応フィルタを構築し、異なるログシーケンスに対して異なる正規/異常フィルタしきい値を適用する。
• 参考スコア（独自算出の注目度）: 4.0534963661486385
• License:
• Abstract: Log messages record important system runtime information and are useful for detecting anomalous behaviors and managing modern software systems. Many supervised and unsupervised learning methods have been proposed recently for log-based anomaly detection. State-of-the-art unsupervised methods predict the next log event given a log sequence and apply fixed configurations that use the same filter condition (i.e. k, the top k predicted log events will be regarded as normal next events) which leads to inferior performance in the detection stage because it sets one fixed k for all log sequences, which ignores the dynamic nature and variance in different log sequences. Recently, deep reinforcement learning (DRL) are widely applied to make intelligent decisions in a dynamic environment. In this work, we contend that it is necessary to apply adaptive filters for different log sequences. To achieve this, we propose a novel approach based on DRL to construct a learned adaptive filter and apply different normal/abnormal filter thresholds for different log sequences. We define the Markov Decision Process (MDP) and formulate the learned adaptive filter as a problem that can be solved by DRL. We evaluate the learned adaptive filter on two state-of-the-art log-based anomaly detection unsupervised approaches DeepLog and LogAnomaly in two datasets HDFS and BGL. Extensive experiments show that our approach outperforms the fixed configurations and achieves significantly better performance in log-based anomaly detection.
• Abstract（参考訳）: ログメッセージは重要なシステム実行時情報を記録し、異常な振る舞いを検出し、最新のソフトウェアシステムを管理するのに有用である。 近年,ログベース異常検出のための教師付き学習手法や教師なし学習法が数多く提案されている。 最先端の教師なし手法は、ログシーケンスが与えられた次のログイベントを予測し、同じフィルタ条件(例えば、トップk予測ログイベントは通常の次のイベントとみなす)を使用する固定構成を適用する。 近年,動的環境下での知的意思決定に深層強化学習(DRL)が広く応用されている。 本研究では,異なるログ列に対して適応フィルタを適用する必要があることを主張する。 そこで本研究では,DRLに基づいて学習適応フィルタを構築し,正規/異常フィルタの閾値を異なるログシーケンスに適用する手法を提案する。 我々はマルコフ決定過程(MDP)を定義し、学習適応フィルタをDRLで解ける問題として定式化する。 我々は,2つのデータセット HDFS と BGL において,非教師付きアプローチである DeepLog と LogAnomaly の2つの最先端ログベース異常検出に対する適応フィルタの評価を行った。 大規模な実験により,本手法は固定構成よりも優れ,ログベース異常検出における性能が著しく向上することが示された。

関連論文リスト

• OMLog: Online Log Anomaly Detection for Evolving System with Meta-learning [10.181157278476428]
  OMLogはリアルタイムかつ信頼性の高いオンラインログ異常検出モデルである。 本稿では,平均誤差に基づく分布シフト検出手法を提案する。 また、ログシーケンスの繰り返しパターンを効果的に学習できるメタラーニングに基づくオンライン学習機構を設計する。
  論文  参考訳（メタデータ） (2024-10-22T01:50:07Z)
• FastLogAD: Log Anomaly Detection with Mask-Guided Pseudo Anomaly Generation and Discrimination [13.458633961243498]
  我々は擬似異常ログを生成するために訓練されたジェネレータ・ディスクリミネータフレームワークであるFastLogADを提案する。 識別段階において、FastLogADは正常と偽異常のサンプルを区別することを学ぶ。 従来の手法と比較して、FastLogADは異常検出において少なくともx10速度の増加を達成する。
  論文  参考訳（メタデータ） (2024-04-12T18:23:29Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM considering Token-level information [7.861095039299132]
  特に現実世界のアプリケーションでは、ログ異常検出の必要性が高まっている。 従来のディープラーニングベースの異常検出モデルでは、データセット固有のトレーニングが必要で、それに対応する遅延が発生する。 本稿では,ログデータ固有の特徴を活かして,トレーニング遅延を伴わずに異常検出を可能にするモデルRAPIDを紹介する。
  論文  参考訳（メタデータ） (2023-11-09T06:11:44Z)
• GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
  GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。 システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
  論文  参考訳（メタデータ） (2023-09-12T04:21:30Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• LogGD:Detecting Anomalies from System Logs by Graph Neural Networks [14.813971618949068]
  本稿では,グラフに基づくログ異常検出手法であるLogGDを提案し,この問題に効果的に対処する。 グラフ構造とノードセマンティクスを組み合わせてログベースの異常検出を行うグラフトランスフォーマーニューラルネットワークの強力な機能を利用する。
  論文  参考訳（メタデータ） (2022-09-16T11:51:58Z)
• Filter-enhanced MLP is All You Need for Sequential Recommendation [89.0974365344997]
  オンラインプラットフォームでは、ログされたユーザの行動データはノイズを含まないことは避けられない。 周波数領域の雑音を減衰させる信号処理から,フィルタアルゴリズムのアイデアを借用する。 逐次レコメンデーションタスクのための学習可能なフィルタを備えたオールMLPモデルである textbfFMLP-Rec を提案する。
  論文  参考訳（メタデータ） (2022-02-28T05:49:35Z)
• A2Log: Attentive Augmented Log Anomaly Detection [53.06341151551106]
  異常検出は、ITサービスの信頼性とサービス性にとってますます重要になる。 既存の教師なし手法は、適切な決定境界を得るために異常な例を必要とする。 我々は,異常判定と異常判定の2段階からなる教師なし異常検出手法であるA2Logを開発した。
  論文  参考訳（メタデータ） (2021-09-20T13:40:21Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。