論文の概要: Failure Identification from Unstable Log Data using Deep Learning

• arxiv url: http://arxiv.org/abs/2204.02636v1
• Date: Wed, 6 Apr 2022 07:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 22:33:17.767407
• Title: Failure Identification from Unstable Log Data using Deep Learning
• Title（参考訳）: 深層学習を用いた不安定なログデータからの故障同定
• Authors: Jasmin Bogatinovski, Sasho Nedelkoski, Li Wu, Jorge Cardoso, Odej Kao
• Abstract要約: 故障同定手法としてCLogを提案する。 ログデータをログイベントのシーケンスではなくサブプロセスのシーケンスとして表現することにより、不安定なログデータの効果を低減する。 実験の結果,学習したサブプロセス表現が入力の不安定性を低下させることが示された。
• 参考スコア（独自算出の注目度）: 0.27998963147546146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The reliability of cloud platforms is of significant relevance because society increasingly relies on complex software systems running on the cloud. To improve it, cloud providers are automating various maintenance tasks, with failure identification frequently being considered. The precondition for automation is the availability of observability tools, with system logs commonly being used. The focus of this paper is log-based failure identification. This problem is challenging because of the instability of the log data and the incompleteness of the explicit logging failure coverage within the code. To address the two challenges, we present CLog as a method for failure identification. The key idea presented herein based is on our observation that by representing the log data as sequences of subprocesses instead of sequences of log events, the effect of the unstable log data is reduced. CLog introduces a novel subprocess extraction method that uses context-aware neural network and clustering methods to extract meaningful subprocesses. The direct modeling of log event contexts allows the identification of failures with respect to the abrupt context changes, addressing the challenge of insufficient logging failure coverage. Our experimental results demonstrate that the learned subprocesses representations reduce the instability in the input, allowing CLog to outperform the baselines on the failure identification subproblems - 1) failure detection by 9-24% on F1 score and 2) failure type identification by 7% on the macro averaged F1 score. Further analysis shows the existent negative correlation between the instability in the input event sequences and the detection performance in a model-agnostic manner.
• Abstract（参考訳）: 社会はますますクラウド上で動く複雑なソフトウェアシステムに依存しているため、クラウドプラットフォームの信頼性は重要な意味を持つ。 クラウドプロバイダは、さまざまなメンテナンスタスクを自動化し、障害の特定を頻繁に検討している。 自動化の前提条件は可観測性ツールの可用性であり、システムログが一般的に使用されている。 本論文の焦点はログに基づく障害識別である。 この問題は、ログデータの不安定性と、コード内の明示的なロギング障害カバレッジの不完全性のため、難しい。 この2つの課題に対処するため、我々はCLogを障害識別の方法として提示する。 ここでは、ログデータをログイベントのシーケンスではなくサブプロセスのシーケンスとして表現することで、不安定なログデータの効果を低減できることを、我々の観察に基づいて示している。 CLogはコンテキスト対応ニューラルネットワークとクラスタリングを使って意味のあるサブプロセスを抽出する新しいサブプロセス抽出手法を導入した。 ログイベントコンテキストの直接的なモデリングにより、突然のコンテキスト変更に関する障害の識別が可能になり、ログ障害カバレッジの不足という課題に対処できる。 実験結果から,学習したサブプロセス表現が入力の不安定性を低減し,CLogが障害識別サブプロブレムのベースラインを上回り,F1スコアの9～24%の故障検出を行うことを確認した。 2) マクロ平均f1得点の失敗タイプ同定率は7%であった。 さらに,入力イベント列の不安定性と検出性能との負の相関をモデルに依存しない解析を行った。

関連論文リスト

• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM considering Token-level information [7.861095039299132]
  特に現実世界のアプリケーションでは、ログ異常検出の必要性が高まっている。 従来のディープラーニングベースの異常検出モデルでは、データセット固有のトレーニングが必要で、それに対応する遅延が発生する。 本稿では,ログデータ固有の特徴を活かして,トレーニング遅延を伴わずに異常検出を可能にするモデルRAPIDを紹介する。
  論文  参考訳（メタデータ） (2023-11-09T06:11:44Z)
• EvLog: Identifying Anomalous Logs over Software Evolution [31.46106509190191]
  解析なしでログを処理するためのEvolving Log extractor (EvLog) という新しい教師なし手法を提案する。 EvLogは、異常なログを識別し、不安定なシーケンスによって引き起こされる問題を回避するために、注意機構を備えた異常判別器を実装している。 EvLogは、平均F1スコアが0.955と0.847の2つの実世界のシステム進化ログデータセットにおいて、それぞれバージョン内設定とバージョン間設定で有効であることを示した。
  論文  参考訳（メタデータ） (2023-06-02T12:58:00Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Leveraging Log Instructions in Log-based Anomaly Detection [0.5949779668853554]
  本稿では,システムログからの信頼性と実用的な異常検出手法を提案する。 1000以上のGitHubプロジェクトのソースコードからログインストラクションを備えた異常検出モデルを構築することで、関連する作業の一般的な欠点を克服する。 提案手法はADLILogと呼ばれ,興味あるシステム(ターゲットシステム)からのログ命令とデータを組み合わせて,深層ニューラルネットワークモデルを学習する。
  論文  参考訳（メタデータ） (2022-07-07T10:22:10Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。