論文の概要: Log2graphs: An Unsupervised Framework for Log Anomaly Detection with Efficient Feature Extraction

• arxiv url: http://arxiv.org/abs/2409.11890v1
• Date: Wed, 18 Sep 2024 11:35:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 17:50:39.196747
• Title: Log2graphs: An Unsupervised Framework for Log Anomaly Detection with Efficient Feature Extraction
• Title（参考訳）: Log2graphs: 効率的な特徴抽出によるログ異常検出のための教師なしフレームワーク
• Authors: Caihong Wang, Du Xu, Zonghang Li,
• Abstract要約: 手動アノテーションの高コストと使用シナリオの動的な性質は、効果的なログ分析において大きな課題となる。 本研究では,様々なシナリオに対応するために設計されたDualGCN-LogAEと呼ばれる新しいログ特徴抽出モデルを提案する。 また,特徴抽出器に基づく教師なしログ異常検出手法であるLog2graphsを導入する。
• 参考スコア（独自算出の注目度）: 1.474723404975345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the era of rapid Internet development, log data has become indispensable for recording the operations of computer devices and software. These data provide valuable insights into system behavior and necessitate thorough analysis. Recent advances in text analysis have enabled deep learning to achieve significant breakthroughs in log anomaly detection. However, the high cost of manual annotation and the dynamic nature of usage scenarios present major challenges to effective log analysis. This study proposes a novel log feature extraction model called DualGCN-LogAE, designed to adapt to various scenarios. It leverages the expressive power of large models for log content analysis and the capability of graph structures to encapsulate correlations between logs. It retains key log information while integrating the causal relationships between logs to achieve effective feature extraction. Additionally, we introduce Log2graphs, an unsupervised log anomaly detection method based on the feature extractor. By employing graph clustering algorithms for log anomaly detection, Log2graphs enables the identification of abnormal logs without the need for labeled data. We comprehensively evaluate the feature extraction capability of DualGCN-LogAE and the anomaly detection performance of Log2graphs using public log datasets across five different scenarios. Our evaluation metrics include detection accuracy and graph clustering quality scores. Experimental results demonstrate that the log features extracted by DualGCN-LogAE outperform those obtained by other methods on classic classifiers. Moreover, Log2graphs surpasses existing unsupervised log detection methods, providing a robust tool for advancing log anomaly detection research.
• Abstract（参考訳）: インターネットの急速な発展期には、ログデータはコンピュータ機器やソフトウェアの操作を記録するのに欠かせないものとなっている。 これらのデータは、システムの振る舞いに関する貴重な洞察を与え、徹底的な分析を必要とします。 近年のテキスト解析の進歩により、深層学習はログ異常検出において大きなブレークスルーを達成している。 しかし、手動アノテーションの高コストと使用シナリオの動的な性質は、効果的なログ分析に大きな課題をもたらしている。 本研究では,様々なシナリオに対応するために設計されたDualGCN-LogAEと呼ばれる新しいログ特徴抽出モデルを提案する。 これは、ログコンテンツ分析のための大規模モデルの表現力と、ログ間の相関をカプセル化するグラフ構造の能力を利用する。 キーログ情報を保持しながら、ログ間の因果関係を統合し、効果的な特徴抽出を実現する。 さらに,特徴抽出器に基づく教師なしログ異常検出手法であるLog2graphsを導入する。 ログ異常検出にグラフクラスタリングアルゴリズムを用いることで、ラベル付きデータを必要としない異常なログの識別が可能になる。 我々は,DualGCN-LogAEの特徴抽出能力と,5つのシナリオにわたる公開ログデータセットを用いたLog2graphの異常検出性能を総合的に評価した。 評価指標には,検出精度とグラフクラスタリングの品質スコアが含まれる。 実験の結果,DualGCN-LogAEが抽出したログ機能は,古典的分類器の他の手法よりも優れていることがわかった。 さらに、Log2graphsは既存の教師なしログ検出手法を超越し、ログ異常検出研究を進めるための堅牢なツールを提供する。

関連論文リスト

• GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
  GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。 システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
  論文  参考訳（メタデータ） (2023-09-12T04:21:30Z)
• Graph Neural Networks based Log Anomaly Detection and Explanation [19.66344385835598]
  イベントログは、ハイテクシステムのステータスを記録するために広く使用されている。 ほとんどの既存のログ異常検出方法は、ログイベントカウント行列またはログイベントシーケンスを入力として取り込む。 我々はLogs2Graphsと呼ばれる教師なしログ異常検出のためのグラフベースの手法を提案する。
  論文  参考訳（メタデータ） (2023-07-02T09:38:43Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• LogGD:Detecting Anomalies from System Logs by Graph Neural Networks [14.813971618949068]
  本稿では,グラフに基づくログ異常検出手法であるLogGDを提案し,この問題に効果的に対処する。 グラフ構造とノードセマンティクスを組み合わせてログベースの異常検出を行うグラフトランスフォーマーニューラルネットワークの強力な機能を利用する。
  論文  参考訳（メタデータ） (2022-09-16T11:51:58Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Log-based Anomaly Detection Without Log Parsing [7.66638994053231]
  ログ解析を必要としない新しいログベースの異常検出手法であるNeuralLogを提案する。 実験の結果,提案手法はログメッセージの意味を効果的に理解できることがわかった。 全体として、NeuralLogは4つの公開データセットで0.95以上のF1スコアを獲得し、既存のアプローチを上回っている。
  論文  参考訳（メタデータ） (2021-08-04T10:42:13Z)
• Log2NS: Enhancing Deep Learning Based Analysis of Logs With Formal to Prevent Survivorship Bias [0.37943450391498496]
  本稿では,機械学習(ML)による観測データに対する確率的解析と,基礎となる形式モデルに基づく記号的推論から導出される確実性を組み合わせたフレームワークであるlog to Neuro-symbolic (Log2NS)を紹介する。 Log2NSは、静的ログと相関エンジンからポジティブなインスタンスを問い合わせる機能と、ネガティブなインスタンスと目に見えないインスタンスの正式な推論を提供する。
  論文  参考訳（メタデータ） (2021-05-29T00:01:08Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。