論文の概要: OMLog: Online Log Anomaly Detection for Evolving System with Meta-learning

• arxiv url: http://arxiv.org/abs/2410.16612v1
• Date: Tue, 22 Oct 2024 01:50:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:21.098267
• Title: OMLog: Online Log Anomaly Detection for Evolving System with Meta-learning
• Title（参考訳）: OMLog: メタ学習による進化システムのためのオンラインログ異常検出
• Authors: Jiyu Tian, Mingchu Li, Zumin Wang, Liming Chen, Jing Qin, Runfa Zhang,
• Abstract要約: OMLogはリアルタイムかつ信頼性の高いオンラインログ異常検出モデルである。 本稿では,平均誤差に基づく分布シフト検出手法を提案する。 また、ログシーケンスの繰り返しパターンを効果的に学習できるメタラーニングに基づくオンライン学習機構を設計する。
• 参考スコア（独自算出の注目度）: 10.181157278476428
• License:
• Abstract: Log anomaly detection (LAD) is essential to ensure safe and stable operation of software systems. Although current LAD methods exhibit significant potential in addressing challenges posed by unstable log events and temporal sequence patterns, their limitations in detection efficiency and generalization ability present a formidable challenge when dealing with evolving systems. To construct a real-time and reliable online log anomaly detection model, we propose OMLog, a semi-supervised online meta-learning method, to effectively tackle the distribution shift issue caused by changes in log event types and frequencies. Specifically, we introduce a maximum mean discrepancy-based distribution shift detection method to identify distribution changes in unseen log sequences. Depending on the identified distribution gap, the method can automatically trigger online fine-grained detection or offline fast inference. Furthermore, we design an online learning mechanism based on meta-learning, which can effectively learn the highly repetitive patterns of log sequences in the feature space, thereby enhancing the generalization ability of the model to evolving data. Extensive experiments conducted on two publicly available log datasets, HDFS and BGL, validate the effectiveness of the OMLog approach. When trained using only normal log sequences, the proposed approach achieves the F1-Score of 93.7\% and 64.9\%, respectively, surpassing the performance of the state-of-the-art (SOTA) LAD methods and demonstrating superior detection efficiency.
• Abstract（参考訳）: ログ異常検出(LAD)は、ソフトウェアシステムの安全かつ安定した動作を保証するために不可欠である。 現在のLAD法は、不安定なログイベントや時間的シーケンスパターンによって引き起こされる課題に対処する上で大きな可能性を秘めているが、検出効率と一般化能力の限界は、進化するシステムを扱う際の重大な課題である。 リアルタイムかつ信頼性の高いオンラインログ異常検出モデルを構築するために,半教師付きオンラインメタラーニング手法であるOMLogを提案し,ログイベントタイプや頻度の変化による分散シフト問題に効果的に対処する。 具体的には,不明瞭なログ列の分布変化を特定するために,平均不一致に基づく分布シフト検出手法を提案する。 識別された分布ギャップに応じて、オンラインのきめ細かい検出やオフラインの高速推論を自動的にトリガーすることができる。 さらに、メタ学習に基づくオンライン学習機構を設計し、特徴空間におけるログシーケンスの繰り返しパターンを効果的に学習し、進化するデータに対するモデルの一般化能力を向上する。 2つの公開ログデータセットであるHDFSとBGLで実施された大規模な実験は、OMLogアプローチの有効性を検証する。 通常のログシーケンスのみを用いてトレーニングすると、提案手法は、それぞれ93.7\%と64.9\%のF1スコアを達成し、最先端(SOTA)LAD法の性能を上回り、優れた検出効率を示す。

関連論文リスト

• Change-Point Detection in Industrial Data Streams based on Online Dynamic Mode Decomposition with Control [5.293458740536858]
  オンライン動的モード分解制御(ODMDwC)に基づく新しい変化点検出手法を提案する。 本手法は,Singular-Value-Decomposition法と比較して,直感的かつ優れた検出結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-08T14:18:33Z)
• FastLogAD: Log Anomaly Detection with Mask-Guided Pseudo Anomaly Generation and Discrimination [13.458633961243498]
  我々は擬似異常ログを生成するために訓練されたジェネレータ・ディスクリミネータフレームワークであるFastLogADを提案する。 識別段階において、FastLogADは正常と偽異常のサンプルを区別することを学ぶ。 従来の手法と比較して、FastLogADは異常検出において少なくともx10速度の増加を達成する。
  論文  参考訳（メタデータ） (2024-04-12T18:23:29Z)
• RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM considering Token-level information [7.861095039299132]
  特に現実世界のアプリケーションでは、ログ異常検出の必要性が高まっている。 従来のディープラーニングベースの異常検出モデルでは、データセット固有のトレーニングが必要で、それに対応する遅延が発生する。 本稿では,ログデータ固有の特徴を活かして,トレーニング遅延を伴わずに異常検出を可能にするモデルRAPIDを紹介する。
  論文  参考訳（メタデータ） (2023-11-09T06:11:44Z)
• PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly Detection [65.24854366973794]
  ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。 本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。 我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
  論文  参考訳（メタデータ） (2023-10-18T02:59:57Z)
• Interactive System-wise Anomaly Detection [66.3766756452743]
  異常検出は様々なアプリケーションにおいて基本的な役割を果たす。 既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。 システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
  論文  参考訳（メタデータ） (2023-04-21T02:20:24Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• LAnoBERT: System Log Anomaly Detection based on BERT Masked Language Model [12.00171674362062]
  システムログ異常検出の目的は、人間の介入を最小限に抑えつつ、即座に異常を識別することである。 従来の研究では、様々なログデータを標準化されたテンプレートに変換した後、アルゴリズムによる異常検出が行われた。 本研究では,自然言語処理性能に優れたLAnoBERTを提案する。
  論文  参考訳（メタデータ） (2021-11-18T07:46:35Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• A Novel Anomaly Detection Algorithm for Hybrid Production Systems based on Deep Learning and Timed Automata [73.38551379469533]
  DAD:DeepAnomalyDetectionは,ハイブリッド生産システムにおける自動モデル学習と異常検出のための新しいアプローチである。 深層学習とタイムドオートマトンを組み合わせて、観察から行動モデルを作成する。 このアルゴリズムは実システムからの2つのデータを含む少数のデータセットに適用され、有望な結果を示している。
  論文  参考訳（メタデータ） (2020-10-29T08:27:43Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。