論文の概要: Impact of Log Parsing on Log-based Anomaly Detection

• arxiv url: http://arxiv.org/abs/2305.15897v1
• Date: Thu, 25 May 2023 09:53:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 05:35:54.033830
• Title: Impact of Log Parsing on Log-based Anomaly Detection
• Title（参考訳）: ログ解析がログベース異常検出に及ぼす影響
• Authors: Zanis Ali Khan, Donghwan Shin, Domenico Bianculli, Lionel Briand
• Abstract要約: 本稿では,ログ解析が異常検出精度に与える影響に関する総合的研究について報告する。 広く想定されているにもかかわらず、ログ解析精度と異常検出精度との間には強い相関関係はない。 本研究は,ログ解析結果の識別可能性を示す特性として,既存の理論結果について実験的に検証する。
• 参考スコア（独自算出の注目度）: 4.368588223244365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software systems log massive amounts of data, recording important runtime information. Such logs are used, for example, for log-based anomaly detection, which aims to automatically detect abnormal behaviors of the system under analysis by processing the information recorded in its logs. Many log-based anomaly detection techniques based on deep-learning models include a pre-processing step called log parsing. However, understanding the impact of log parsing on the accuracy of anomaly detection techniques has received surprisingly little attention so far. Investigating what are the key properties log parsing techniques should ideally have to help anomaly detection is therefore warranted. In this paper, we report on a comprehensive empirical study on the impact of log parsing on anomaly detection accuracy, using 13 log parsing techniques and five deep-learning-based anomaly detection techniques on two publicly available log datasets. Our empirical results show that, despite what is widely assumed, there is no strong correlation between log parsing accuracy and anomaly detection accuracy (regardless of the metric used for measuring log parsing accuracy). Moreover, we experimentally confirm existing theoretical results showing that it is a property that we refer to as distinguishability in log parsing results as opposed to their accuracy that plays an essential role in achieving accurate anomaly detection.
• Abstract（参考訳）: ソフトウェアシステムは大量のデータをログし、重要な実行時情報を記録します。 例えばログベースの異常検出では、ログに記録された情報を処理することで、分析中のシステムの異常動作を自動的に検出することを目的としている。 ディープラーニングモデルに基づくログベースの異常検出技術の多くは、ログ解析と呼ばれる前処理ステップを含む。 しかし,ログ解析が異常検出手法の精度に与える影響を理解することは,これまでほとんど注目されていない。 それゆえ、ログ解析のテクニックは、異常検出を助けるのに理想的に必要である。 本稿では,ログ解析が異常検出精度に与える影響に関する総合的研究について,13のログ解析手法と5つのディープラーニングに基づく異常検出手法を用いて報告する。 以上の結果から,ログ解析精度と異常検出精度との間には強い相関性は認められなかった(ログ解析精度の測定に使用される指標は別として)。 さらに, 従来の理論結果から, 正確な異常検出を行う上で重要な役割を担う精度に対して, ログ解析結果の識別可能性を示す性質を実験的に検証した。

関連論文リスト

• Log2graphs: An Unsupervised Framework for Log Anomaly Detection with Efficient Feature Extraction [1.474723404975345]
  手動アノテーションの高コストと使用シナリオの動的な性質は、効果的なログ分析において大きな課題となる。 本研究では,様々なシナリオに対応するために設計されたDualGCN-LogAEと呼ばれる新しいログ特徴抽出モデルを提案する。 また,特徴抽出器に基づく教師なしログ異常検出手法であるLog2graphsを導入する。
  論文  参考訳（メタデータ） (2024-09-18T11:35:58Z)
• Reducing Events to Augment Log-based Anomaly Detection Models: An Empirical Study [8.110288854047417]
  異常検出の文脈におけるログイベントの自動削減のための効率的な手法であるLogCleanerを提案する。 実験の結果は、異常検出におけるログイベントの70%以上を削減し、モデルの推論速度を約300%高速化するLogCleanerの能力を強調している。
  論文  参考訳（メタデータ） (2024-09-07T14:02:02Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
  GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。 システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
  論文  参考訳（メタデータ） (2023-09-12T04:21:30Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Feature Selection for Fault Detection and Prediction based on Event Log Analysis [14.80211278818555]
  イベントログは複雑なシステムにおける異常検出と予測に広く利用されている。 ログベースの異常検出と予測のための特徴選択手法を開発し,その有効性と効率を大幅に改善する。
  論文  参考訳（メタデータ） (2022-08-19T16:43:37Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Log-based Anomaly Detection Without Log Parsing [7.66638994053231]
  ログ解析を必要としない新しいログベースの異常検出手法であるNeuralLogを提案する。 実験の結果,提案手法はログメッセージの意味を効果的に理解できることがわかった。 全体として、NeuralLogは4つの公開データセットで0.95以上のF1スコアを獲得し、既存のアプローチを上回っている。
  論文  参考訳（メタデータ） (2021-08-04T10:42:13Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。