論文の概要: Experience Report: Deep Learning-based System Log Analysis for Anomaly Detection

• arxiv url: http://arxiv.org/abs/2107.05908v1
• Date: Tue, 13 Jul 2021 08:10:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 14:31:28.112578
• Title: Experience Report: Deep Learning-based System Log Analysis for Anomaly Detection
• Title（参考訳）: 経験報告:異常検出のためのディープラーニングに基づくシステムログ分析
• Authors: Zhuangbin Chen, Jinyang Liu, Wenwei Gu, Yuxin Su, and Michael R. Lyu
• Abstract要約: 我々は6つの最先端の異常検知器で使用される5つの人気モデルのレビューと評価を行う。 選択された方法のうち4つは教師なし、残りの2つは教師なしである。 我々は,本研究がこの分野の基礎となり,今後の学術研究や産業応用に貢献できると考えている。
• 参考スコア（独自算出の注目度）: 30.52620190783608
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Logs have been an imperative resource to ensure the reliability and continuity of many software systems, especially large-scale distributed systems. They faithfully record runtime information to facilitate system troubleshooting and behavior understanding. Due to the large scale and complexity of modern software systems, the volume of logs has reached an unprecedented level. Consequently, for log-based anomaly detection, conventional methods of manual inspection or even traditional machine learning-based methods become impractical, which serve as a catalyst for the rapid development of deep learning-based solutions. However, there is currently a lack of rigorous comparison among the representative log-based anomaly detectors which resort to neural network models. Moreover, the re-implementation process demands non-trivial efforts and bias can be easily introduced. To better understand the characteristics of different anomaly detectors, in this paper, we provide a comprehensive review and evaluation on five popular models used by six state-of-the-art methods. Particularly, four of the selected methods are unsupervised and the remaining two are supervised. These methods are evaluated with two publicly-available log datasets, which contain nearly 16 millions log messages and 0.4 million anomaly instances in total. We believe our work can serve as a basis in this field and contribute to the future academic researches and industrial applications.
• Abstract（参考訳）: ログは多くのソフトウェアシステム、特に大規模分散システムの信頼性と継続性を保証するための必須リソースである。 彼らは、システムのトラブルシューティングと振る舞い理解を容易にするために、実行時情報を忠実に記録します。 現代のソフトウェアシステムの大規模化と複雑さのため、ログのボリュームは前例のないレベルに達している。 したがって,ログに基づく異常検出では,従来の手作業による検査手法や,従来の機械学習に基づく手法が非実用的となり,ディープラーニングに基づくソリューションの急速な発展の触媒となる。 しかし、現在、ニューラルネットワークモデルを利用する代表的ログベースの異常検出器の間には厳密な比較が欠けている。 さらに、再実装プロセスでは、非自明な努力とバイアスが要求される。 本稿では, 各種異常検知器の特性をよりよく理解するために, 6つの最先端手法で用いられる5つの人気モデルの総合的なレビューと評価を行う。 特に、選択された4つのメソッドは教師なしであり、残りの2つは教師なしである。 これらの方法は2つの公開ログデータセットで評価され、合計で約1600万のログメッセージと0.40万の異常インスタンスを含む。 私たちの研究はこの分野の基礎となり、将来の学術研究や産業応用に寄与できると考えています。

関連論文リスト

• LogSD: Detecting Anomalies from System Logs through Self-supervised Learning and Frequency-based Masking [14.784236273395017]
  我々は,新しい半教師付き自己教師付き学習手法であるLogSDを提案する。 我々は,LogSDが8つの最先端ベンチマーク手法を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-04-17T12:00:09Z)
• Log-based Anomaly Detection based on EVT Theory with feedback [31.949892354842525]
  本研究では,SeaLogと呼ばれる高精度で軽量かつ適応的なログベースの異常検出フレームワークを提案する。 本稿では,リアルタイムな異常検出を行うために,軽量で動的に成長するトリエ構造を用いたTrie-based Detection Agent (TDA)を提案する。 ログデータの進化に対応してTDAの精度を高めるため,専門家からフィードバックを得られるようにした。
  論文  参考訳（メタデータ） (2023-06-08T08:34:58Z)
• Interactive System-wise Anomaly Detection [66.3766756452743]
  異常検出は様々なアプリケーションにおいて基本的な役割を果たす。 既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。 システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
  論文  参考訳（メタデータ） (2023-04-21T02:20:24Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Deep Learning for Anomaly Detection in Log Data: A Survey [3.508620069426877]
  自己学習異常検出技術は、ログデータのパターンをキャプチャし、予期しないログイベントを報告する。 この目的のためのディープラーニングニューラルネットワークが紹介されている。 ディープラーニングにはさまざまなアーキテクチャがあり、生と非構造化のログデータをエンコードするのは簡単ではない。
  論文  参考訳（メタデータ） (2022-07-08T10:58:28Z)
• Leveraging Log Instructions in Log-based Anomaly Detection [0.5949779668853554]
  本稿では,システムログからの信頼性と実用的な異常検出手法を提案する。 1000以上のGitHubプロジェクトのソースコードからログインストラクションを備えた異常検出モデルを構築することで、関連する作業の一般的な欠点を克服する。 提案手法はADLILogと呼ばれ,興味あるシステム(ターゲットシステム)からのログ命令とデータを組み合わせて,深層ニューラルネットワークモデルを学習する。
  論文  参考訳（メタデータ） (2022-07-07T10:22:10Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• A2Log: Attentive Augmented Log Anomaly Detection [53.06341151551106]
  異常検出は、ITサービスの信頼性とサービス性にとってますます重要になる。 既存の教師なし手法は、適切な決定境界を得るために異常な例を必要とする。 我々は,異常判定と異常判定の2段階からなる教師なし異常検出手法であるA2Logを開発した。
  論文  参考訳（メタデータ） (2021-09-20T13:40:21Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。