Fugu-MT 論文翻訳(概要): Demystifying and Extracting Fault-indicating Information from Logs for Failure Diagnosis

論文の概要: Demystifying and Extracting Fault-indicating Information from Logs for Failure Diagnosis

arxiv url: http://arxiv.org/abs/2409.13561v1
Date: Fri, 20 Sep 2024 15:00:47 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 06:30:58.069471
Title: Demystifying and Extracting Fault-indicating Information from Logs for Failure Diagnosis
Title（参考訳）: 故障診断のためのログからの故障指示情報のデミスティファイションと抽出
Authors: Junjie Huang, Zhihan Jiang, Jinyang Liu, Yintong Huo, Jiazhen Gu, Zhuangbin Chen, Cong Feng, Hui Dong, Zengyin Yang, Michael R. Lyu,
Abstract要約: エンジニアは、診断のためにログ情報の2つのカテゴリを優先順位付けする。そこで本研究では,LoFIと呼ばれる故障診断のためのログから誤検出情報を自動抽出する手法を提案する。 LoFIは全てのベースライン法を大幅な差で上回り、最高のベースライン法であるChatGPTよりもF1の25.837.9を絶対的に改善した。
参考スコア（独自算出の注目度）: 29.800380941293277
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Logs are imperative in the maintenance of online service systems, which often encompass important information for effective failure mitigation. While existing anomaly detection methodologies facilitate the identification of anomalous logs within extensive runtime data, manual investigation of log messages by engineers remains essential to comprehend faults, which is labor-intensive and error-prone. Upon examining the log-based troubleshooting practices at CloudA, we find that engineers typically prioritize two categories of log information for diagnosis. These include fault-indicating descriptions, which record abnormal system events, and fault-indicating parameters, which specify the associated entities. Motivated by this finding, we propose an approach to automatically extract such faultindicating information from logs for fault diagnosis, named LoFI. LoFI comprises two key stages. In the first stage, LoFI performs coarse-grained filtering to collect logs related to the faults based on semantic similarity. In the second stage, LoFI leverages a pre-trained language model with a novel prompt-based tuning method to extract fine-grained information of interest from the collected logs. We evaluate LoFI on logs collected from Apache Spark and an industrial dataset from CloudA. The experimental results demonstrate that LoFI outperforms all baseline methods by a significant margin, achieving an absolute improvement of 25.8~37.9 in F1 over the best baseline method, ChatGPT. This highlights the effectiveness of LoFI in recognizing fault-indicating information. Furthermore, the successful deployment of LoFI at CloudA and user studies validate the utility of our method. The code and data are available at https://github.com/Jun-jie-Huang/LoFI.
Abstract（参考訳）: ログはオンラインサービスシステムのメンテナンスにおいて必須であり、多くの場合、効果的な障害軽減のための重要な情報を含んでいる。既存の異常検出手法は、広範な実行時データ内の異常なログの識別を容易にするが、技術者による手動によるログメッセージの調査は、労働集約的かつエラーを起こしやすい欠陥を理解するのに不可欠である。 CloudAでログベースのトラブルシューティングのプラクティスを調べると、エンジニアが診断のためにログ情報の2つのカテゴリを優先していることが分かりました。これには、異常なシステムイベントを記録するフォールトインジケート記述や、関連するエンティティを指定するフォールトインジケートパラメータが含まれる。そこで本研究では,LoFIと呼ばれる異常診断のためのログから,そのような故障情報を自動的に抽出する手法を提案する。 LoFIは2つの重要なステージから構成される。最初の段階では、LoFIは、意味的類似性に基づいて、障害に関連するログを収集する粗粒度フィルタリングを行う。第2段階では、LoFIは学習済みの言語モデルと新しいプロンプトベースのチューニング手法を利用して、収集したログから興味の詳細な情報を抽出する。我々は、Apache Sparkから収集したログとCloudAから収集した産業データセット上でLoFIを評価する。実験の結果、LoFIは全てのベースライン法を有意差で上回り、最高のベースライン法であるChatGPTよりもF1の25.8~37.9の絶対的な改善を達成している。このことは、欠陥を示す情報の認識におけるLoFIの有効性を強調している。さらに,CloudAにおけるLoFIのデプロイの成功とユーザスタディにより,本手法の有用性が検証された。コードとデータはhttps://github.com/Jun-jie-Huang/LoFI.comで公開されている。

関連論文リスト

LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。そして、そのような知識を共有パラメータを介して対象領域に転送する。
論文参考訳（メタデータ） (2024-01-09T12:55:21Z)
Data Drift Monitoring for Log Anomaly Detection Pipelines [2.941832525496684]
本研究では,介入,再訓練,LADモデルの更新が人的関与に必要である場合に,ベイズ因子に基づくドリフト検出手法を提案する。本手法は,無修正データからのログアクティビティのシーケンスと,異常汚染の制御レベルによるシミュレートされたアクティビティの両方を用いて記述する。
論文参考訳（メタデータ） (2023-10-17T09:10:40Z)
PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2023-01-25T16:34:43Z)
Leveraging Log Instructions in Log-based Anomaly Detection [0.5949779668853554]
本稿では,システムログからの信頼性と実用的な異常検出手法を提案する。 1000以上のGitHubプロジェクトのソースコードからログインストラクションを備えた異常検出モデルを構築することで、関連する作業の一般的な欠点を克服する。提案手法はADLILogと呼ばれ,興味あるシステム(ターゲットシステム)からのログ命令とデータを組み合わせて,深層ニューラルネットワークモデルを学習する。
論文参考訳（メタデータ） (2022-07-07T10:22:10Z)
Failure Identification from Unstable Log Data using Deep Learning [0.27998963147546146]
故障同定手法としてCLogを提案する。ログデータをログイベントのシーケンスではなくサブプロセスのシーケンスとして表現することにより、不安定なログデータの効果を低減する。実験の結果,学習したサブプロセス表現が入力の不安定性を低下させることが示された。
論文参考訳（メタデータ） (2022-04-06T07:41:48Z)
LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文参考訳（メタデータ） (2021-11-02T15:16:08Z)
A2Log: Attentive Augmented Log Anomaly Detection [53.06341151551106]
異常検出は、ITサービスの信頼性とサービス性にとってますます重要になる。既存の教師なし手法は、適切な決定境界を得るために異常な例を必要とする。我々は,異常判定と異常判定の2段階からなる教師なし異常検出手法であるA2Logを開発した。
論文参考訳（メタデータ） (2021-09-20T13:40:21Z)
Log-based Anomaly Detection Without Log Parsing [7.66638994053231]
ログ解析を必要としない新しいログベースの異常検出手法であるNeuralLogを提案する。実験の結果,提案手法はログメッセージの意味を効果的に理解できることがわかった。全体として、NeuralLogは4つの公開データセットで0.95以上のF1スコアを獲得し、既存のアプローチを上回っている。
論文参考訳（メタデータ） (2021-08-04T10:42:13Z)
Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
論文参考訳（メタデータ） (2021-02-23T09:17:05Z)
Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
ログ表現を学習するための分類法であるLogsyを提案する。従来の方法と比較して,F1スコアの平均0.25の改善を示す。
論文参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。