論文の概要: Log-based Anomaly Detection Without Log Parsing

• arxiv url: http://arxiv.org/abs/2108.01955v1
• Date: Wed, 4 Aug 2021 10:42:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-05 19:08:03.002432
• Title: Log-based Anomaly Detection Without Log Parsing
• Title（参考訳）: ログ解析のないログベース異常検出
• Authors: Van-Hoang Le and Hongyu Zhang
• Abstract要約: ログ解析を必要としない新しいログベースの異常検出手法であるNeuralLogを提案する。 実験の結果,提案手法はログメッセージの意味を効果的に理解できることがわかった。 全体として、NeuralLogは4つの公開データセットで0.95以上のF1スコアを獲得し、既存のアプローチを上回っている。
• 参考スコア（独自算出の注目度）: 7.66638994053231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software systems often record important runtime information in system logs for troubleshooting purposes. There have been many studies that use log data to construct machine learning models for detecting system anomalies. Through our empirical study, we find that existing log-based anomaly detection approaches are significantly affected by log parsing errors that are introduced by 1) OOV (out-of-vocabulary) words, and 2) semantic misunderstandings. The log parsing errors could cause the loss of important information for anomaly detection. To address the limitations of existing methods, we propose NeuralLog, a novel log-based anomaly detection approach that does not require log parsing. NeuralLog extracts the semantic meaning of raw log messages and represents them as semantic vectors. These representation vectors are then used to detect anomalies through a Transformer-based classification model, which can capture the contextual information from log sequences. Our experimental results show that the proposed approach can effectively understand the semantic meaning of log messages and achieve accurate anomaly detection results. Overall, NeuralLog achieves F1-scores greater than 0.95 on four public datasets, outperforming the existing approaches.
• Abstract（参考訳）: ソフトウェアシステムはしばしばトラブルシューティングのためにシステムログに重要なランタイム情報を記録する。 ログデータを使用してシステム異常を検出するための機械学習モデルを構築する研究が数多く行われている。 実験の結果,1) oov (out-of-vocabulary) ワード, 2) 意味的誤解によって,既存のログに基づく異常検出手法はログ解析の誤りに大きく影響していることがわかった。 ログ解析エラーにより、異常検出のための重要な情報が失われる可能性がある。 既存の手法の限界に対処するために,ログ解析を必要としない新しいログベースの異常検出手法であるNeuralLogを提案する。 NeuralLogは生ログメッセージの意味を抽出し、意味ベクトルとして表現する。 これらの表現ベクトルは、ログシーケンスからコンテキスト情報をキャプチャできるtransformerベースの分類モデルを通じて異常を検出するために使用される。 実験の結果,提案手法はログメッセージの意味を効果的に理解し,正確な異常検出結果が得られることがわかった。 全体として、NeuralLogは4つの公開データセットで0.95以上のF1スコアを獲得し、既存のアプローチを上回っている。

関連論文リスト

• Log2graphs: An Unsupervised Framework for Log Anomaly Detection with Efficient Feature Extraction [1.474723404975345]
  手動アノテーションの高コストと使用シナリオの動的な性質は、効果的なログ分析において大きな課題となる。 本研究では,様々なシナリオに対応するために設計されたDualGCN-LogAEと呼ばれる新しいログ特徴抽出モデルを提案する。 また,特徴抽出器に基づく教師なしログ異常検出手法であるLog2graphsを導入する。
  論文  参考訳（メタデータ） (2024-09-18T11:35:58Z)
• LogELECTRA: Self-supervised Anomaly Detection for Unstructured Logs [0.0]
  ログベースの異常検出の目標は、短時間で生成された大量のログを分析して、システム異常を自動的に検出することである。 従来の研究では、非構造化ログデータからテンプレートを抽出し、テンプレート発生パターンに基づいて異常を検出するためにログを使用していた。 自己教師付き異常検出に基づいて1行のログメッセージをより深く分析する新しいログ異常検出モデルであるLogELECTRAを提案する。
  論文  参考訳（メタデータ） (2024-02-16T01:47:02Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
  GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。 システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
  論文  参考訳（メタデータ） (2023-09-12T04:21:30Z)
• Impact of Log Parsing on Deep Learning-Based Anomaly Detection [4.0719622481627376]
  本研究では,ログ解析精度と異常検出精度との間には強い相関関係がないことを示す。 本研究は,ログ解析結果の識別可能性を示す特性として,既存の理論結果について実験的に検証する。
  論文  参考訳（メタデータ） (2023-05-25T09:53:02Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• LogGD:Detecting Anomalies from System Logs by Graph Neural Networks [14.813971618949068]
  本稿では,グラフに基づくログ異常検出手法であるLogGDを提案し,この問題に効果的に対処する。 グラフ構造とノードセマンティクスを組み合わせてログベースの異常検出を行うグラフトランスフォーマーニューラルネットワークの強力な機能を利用する。
  論文  参考訳（メタデータ） (2022-09-16T11:51:58Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。