論文の概要: EvLog: Identifying Anomalous Logs over Software Evolution

• arxiv url: http://arxiv.org/abs/2306.01509v2
• Date: Tue, 15 Aug 2023 05:43:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 04:45:30.311600
• Title: EvLog: Identifying Anomalous Logs over Software Evolution
• Title（参考訳）: EvLog: ソフトウェア進化に関する異常ログの特定
• Authors: Yintong Huo, Cheryl Lee, Yuxin Su, Shiwen Shan, Jinyang Liu and Michael R. Lyu
• Abstract要約: 解析なしでログを処理するためのEvolving Log extractor (EvLog) という新しい教師なし手法を提案する。 EvLogは、異常なログを識別し、不安定なシーケンスによって引き起こされる問題を回避するために、注意機構を備えた異常判別器を実装している。 EvLogは、平均F1スコアが0.955と0.847の2つの実世界のシステム進化ログデータセットにおいて、それぞれバージョン内設定とバージョン間設定で有効であることを示した。
• 参考スコア（独自算出の注目度）: 31.46106509190191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software logs record system activities, aiding maintainers in identifying the underlying causes for failures and enabling prompt mitigation actions. However, maintainers need to inspect a large volume of daily logs to identify the anomalous logs that reveal failure details for further diagnosis. Thus, how to automatically distinguish these anomalous logs from normal logs becomes a critical problem. Existing approaches alleviate the burden on software maintainers, but they are built upon an improper yet critical assumption: logging statements in the software remain unchanged. While software keeps evolving, our empirical study finds that evolving software brings three challenges: log parsing errors, evolving log events, and unstable log sequences. In this paper, we propose a novel unsupervised approach named Evolving Log analyzer (EvLog) to mitigate these challenges. We first build a multi-level representation extractor to process logs without parsing to prevent errors from the parser. The multi-level representations preserve the essential semantics of logs while leaving out insignificant changes in evolving events. EvLog then implements an anomaly discriminator with an attention mechanism to identify the anomalous logs and avoid the issue brought by the unstable sequence. EvLog has shown effectiveness in two real-world system evolution log datasets with an average F1 score of 0.955 and 0.847 in the intra-version setting and inter-version setting, respectively, which outperforms other state-of-the-art approaches by a wide margin. To our best knowledge, this is the first study on localizing anomalous logs over software evolution. We believe our work sheds new light on the impact of software evolution with the corresponding solutions for the log analysis community.
• Abstract（参考訳）: ソフトウェアログはシステムのアクティビティを記録し、メンテナに障害の原因を特定し、迅速な緩和アクションを可能にする。 しかし、メンテナは、さらなる診断のために障害の詳細を明らかにする異常なログを特定するために、大量のデイリーログを検査する必要がある。 したがって、これらの異常ログと通常のログを自動的に区別する方法が重要な問題となる。 既存のアプローチはソフトウェアメンテナの負担を軽減するが、それらは不適切だが批判的な仮定に基づいている。 ソフトウェアは進化を続けているが、我々の経験的調査によると、進化するソフトウェアは、エラーのログ解析、ログイベントの進化、不安定なログシーケンスという3つの課題をもたらす。 本稿では,これらの課題を軽減すべく,進化型ログアナライザ(evlog)と呼ばれる新しい非教師付きアプローチを提案する。 まず,解析せずにログを処理し,パーサからのエラーを防止するマルチレベル表現抽出器を構築する。 マルチレベル表現はログの本質的なセマンティクスを維持しながら、進化するイベントにおける重要な変更を除外する。 evlogは、異常なログを特定し、不安定なシーケンスによって引き起こされる問題を避けるために、注意機構を備えた異常判別器を実装する。 EvLogは、平均F1スコアが0.955と0.847の2つの実世界のシステム進化ログデータセットにおいて、それぞれバージョン内設定とバージョン間設定において有効性を示しており、これは他の最先端アプローチよりも広いマージンで優れている。 私たちの知る限りでは、これはソフトウェアの進化に関する異常ログのローカライズに関する最初の研究です。 私たちは、ログ分析コミュニティの対応するソリューションによって、ソフトウェア進化の影響に新たな光を当てていると信じています。

関連論文リスト

• Anomaly Detection on Unstable Logs with GPT Models [1.9713190626298576]
  本稿では,不安定なログの異常検出のための微調整LDMと代替モデルの実験的比較について報告する。 膨大なデータセット上でのLLMの事前トレーニングは、多様なパターンやコンテキスト情報の堅牢な理解を可能にする可能性がある。 GPT-3と他の教師付きアプローチの違いは、ログシーケンスの変化の度合いが増加するにつれて、より顕著になる傾向にある。
  論文  参考訳（メタデータ） (2024-06-11T17:13:18Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
  GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。 システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
  論文  参考訳（メタデータ） (2023-09-12T04:21:30Z)
• MoniLog: An Automated Log-Based Anomaly Detection System for Cloud Computing Infrastructures [3.04585143845864]
  MoniLogは、大規模環境でリアルタイムな異常を検出する分散アプローチである。 マルチソースログストリーム内のシーケンシャルかつ定量的な異常を検出することを目的としている。
  論文  参考訳（メタデータ） (2023-04-24T09:21:52Z)
• LogGD:Detecting Anomalies from System Logs by Graph Neural Networks [14.813971618949068]
  本稿では,グラフに基づくログ異常検出手法であるLogGDを提案し,この問題に効果的に対処する。 グラフ構造とノードセマンティクスを組み合わせてログベースの異常検出を行うグラフトランスフォーマーニューラルネットワークの強力な機能を利用する。
  論文  参考訳（メタデータ） (2022-09-16T11:51:58Z)
• Failure Identification from Unstable Log Data using Deep Learning [0.27998963147546146]
  故障同定手法としてCLogを提案する。 ログデータをログイベントのシーケンスではなくサブプロセスのシーケンスとして表現することにより、不安定なログデータの効果を低減する。 実験の結果,学習したサブプロセス表現が入力の不安定性を低下させることが示された。
  論文  参考訳（メタデータ） (2022-04-06T07:41:48Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。