論文の概要: LogRCA: Log-based Root Cause Analysis for Distributed Services

• arxiv url: http://arxiv.org/abs/2405.13599v1
• Date: Wed, 22 May 2024 12:50:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 00:04:43.896086
• Title: LogRCA: Log-based Root Cause Analysis for Distributed Services
• Title（参考訳）: LogRCA: 分散サービスのためのログベースのルート原因分析
• Authors: Thorsten Wittkopp, Philipp Wiesner, Odej Kao,
• Abstract要約: 根本原因を記述した最小限のログ行を識別する新しい方法であるLogRCAを提案する。 LogRCAは、希少で未知のエラーに対処するために、半教師付き学習アプローチを使用し、ノイズの多いデータを扱うように設計されている。 4430万のログ行からなる大規模プロダクションログデータセットに対して,当社のアプローチを評価した。
• 参考スコア（独自算出の注目度）: 4.049637286678329
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To assist IT service developers and operators in managing their increasingly complex service landscapes, there is a growing effort to leverage artificial intelligence in operations. To speed up troubleshooting, log anomaly detection has received much attention in particular, dealing with the identification of log events that indicate the reasons for a system failure. However, faults often propagate extensively within systems, which can result in a large number of anomalies being detected by existing approaches. In this case, it can remain very challenging for users to quickly identify the actual root cause of a failure. We propose LogRCA, a novel method for identifying a minimal set of log lines that together describe a root cause. LogRCA uses a semi-supervised learning approach to deal with rare and unknown errors and is designed to handle noisy data. We evaluated our approach on a large-scale production log data set of 44.3 million log lines, which contains 80 failures, whose root causes were labeled by experts. LogRCA consistently outperforms baselines based on deep learning and statistical analysis in terms of precision and recall to detect candidate root causes. In addition, we investigated the impact of our deployed data balancing approach, demonstrating that it considerably improves performance on rare failures.
• Abstract（参考訳）: ITサービス開発者や運用担当者が、ますます複雑なサービス環境を管理するのを支援するため、運用において人工知能を活用する取り組みが増えている。 トラブルシューティングを高速化するため、特にシステム障害の原因を示すログイベントの特定にログ異常検出が注目されている。 しかしながら、障害はしばしばシステム内で広範囲に伝播し、既存のアプローチによって検出される多くの異常を引き起こす可能性がある。 この場合、ユーザが失敗の実際の根本原因を素早く特定することは、依然として非常に困難である。 根本原因を記述した最小限のログ行を識別する新しい方法であるLogRCAを提案する。 LogRCAは、希少で未知のエラーに対処するために、半教師付き学習アプローチを使用し、ノイズの多いデータを扱うように設計されている。 4430万のログ行からなる大規模プロダクションログデータセットに対して,当社のアプローチを評価した。 LogRCAは、深層学習と統計的解析に基づくベースラインの精度とリコールにより、候補の根本原因を検出する。 さらに、配置したデータバランシングアプローチの影響を調査し、稀な障害に対するパフォーマンスの大幅な向上を実証した。

関連論文リスト

• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• RAGLog: Log Anomaly Detection using Retrieval Augmented Generation [0.0]
  本稿では,ベクトルデータベースを利用してログから異常を検出する検索拡張大言語モデルについて検討する。 我々の知る限り、RAGLogと呼ばれる我々の実験は、新しいもので、実験結果は、非常に有望であることを示している。
  論文  参考訳（メタデータ） (2023-11-09T10:40:04Z)
• RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM considering Token-level information [7.861095039299132]
  特に現実世界のアプリケーションでは、ログ異常検出の必要性が高まっている。 従来のディープラーニングベースの異常検出モデルでは、データセット固有のトレーニングが必要で、それに対応する遅延が発生する。 本稿では,ログデータ固有の特徴を活かして,トレーニング遅延を伴わずに異常検出を可能にするモデルRAPIDを紹介する。
  論文  参考訳（メタデータ） (2023-11-09T06:11:44Z)
• Log-based Anomaly Detection based on EVT Theory with feedback [31.949892354842525]
  本研究では,SeaLogと呼ばれる高精度で軽量かつ適応的なログベースの異常検出フレームワークを提案する。 本稿では,リアルタイムな異常検出を行うために,軽量で動的に成長するトリエ構造を用いたTrie-based Detection Agent (TDA)を提案する。 ログデータの進化に対応してTDAの精度を高めるため,専門家からフィードバックを得られるようにした。
  論文  参考訳（メタデータ） (2023-06-08T08:34:58Z)
• EvLog: Identifying Anomalous Logs over Software Evolution [31.46106509190191]
  解析なしでログを処理するためのEvolving Log extractor (EvLog) という新しい教師なし手法を提案する。 EvLogは、異常なログを識別し、不安定なシーケンスによって引き起こされる問題を回避するために、注意機構を備えた異常判別器を実装している。 EvLogは、平均F1スコアが0.955と0.847の2つの実世界のシステム進化ログデータセットにおいて、それぞれバージョン内設定とバージョン間設定で有効であることを示した。
  論文  参考訳（メタデータ） (2023-06-02T12:58:00Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Leveraging Log Instructions in Log-based Anomaly Detection [0.5949779668853554]
  本稿では,システムログからの信頼性と実用的な異常検出手法を提案する。 1000以上のGitHubプロジェクトのソースコードからログインストラクションを備えた異常検出モデルを構築することで、関連する作業の一般的な欠点を克服する。 提案手法はADLILogと呼ばれ,興味あるシステム(ターゲットシステム)からのログ命令とデータを組み合わせて,深層ニューラルネットワークモデルを学習する。
  論文  参考訳（メタデータ） (2022-07-07T10:22:10Z)
• Mining Root Cause Knowledge from Cloud Service Incident Investigations for AIOps [71.12026848664753]
  サービス破壊インシデントの根本原因分析(RCA)は、ITプロセスにおける最も重要かつ複雑なタスクの1つです。 本研究では、Salesforceで構築されたICAと、ダウンストリームのインシデントサーチとレトリーバルベースのRCAパイプラインについて紹介する。
  論文  参考訳（メタデータ） (2022-04-21T02:33:34Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• A2Log: Attentive Augmented Log Anomaly Detection [53.06341151551106]
  異常検出は、ITサービスの信頼性とサービス性にとってますます重要になる。 既存の教師なし手法は、適切な決定境界を得るために異常な例を必要とする。 我々は,異常判定と異常判定の2段階からなる教師なし異常検出手法であるA2Logを開発した。
  論文  参考訳（メタデータ） (2021-09-20T13:40:21Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。