論文の概要: A layered architecture for log analysis in complex IT systems

• arxiv url: http://arxiv.org/abs/2509.08698v1
• Date: Fri, 29 Aug 2025 11:28:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-14 20:41:04.939662
• Title: A layered architecture for log analysis in complex IT systems
• Title（参考訳）: 複雑なITシステムにおけるログ分析のための階層アーキテクチャ
• Authors: Thorsten Wittkopp,
• Abstract要約: この論文では、DevOpsの障害解決をサポートする3層アーキテクチャが紹介されている。 最初のレイヤであるLog Investigationは、自律的なログラベリングと異常分類を実行する。 第2のレイヤであるAnomaly Detectionは、標準から逸脱した振る舞いを検出する。 第3のレイヤであるRoot Cause Analysisは、障害、その起源、イベントシーケンスを記述する最小限のログセットを識別する。
• 参考スコア（独自算出の注目度）: 0.21756081703276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the evolving IT landscape, stability and reliability of systems are essential, yet their growing complexity challenges DevOps teams in implementation and maintenance. Log analysis, a core element of AIOps, provides critical insights into complex behaviors and failures. This dissertation introduces a three-layered architecture to support DevOps in failure resolution. The first layer, Log Investigation, performs autonomous log labeling and anomaly classification. We propose a method that labels log data without manual effort, enabling supervised training and precise evaluation of anomaly detection. Additionally, we define a taxonomy that groups anomalies into three categories, ensuring appropriate method selection. The second layer, Anomaly Detection, detects behaviors deviating from the norm. We propose a flexible Anomaly Detection method adaptable to unsupervised, weakly supervised, and supervised training. Evaluations on public and industry datasets show F1-scores between 0.98 and 1.0, ensuring reliable anomaly detection. The third layer, Root Cause Analysis, identifies minimal log sets describing failures, their origin, and event sequences. By balancing training data and identifying key services, our Root Cause Analysis method consistently detects 90-98% of root cause log lines within the top 10 candidates, providing actionable insights for mitigation. Our research addresses how log analysis methods can be designed and optimized to help DevOps resolve failures efficiently. By integrating these three layers, the architecture equips teams with robust methods to enhance IT system reliability.
• Abstract（参考訳）: 進化するITの世界では、システムの安定性と信頼性が不可欠だが、その増大する複雑性は、DevOpsチームによる実装とメンテナンスの課題である。 AIOpsの中核的な要素であるログ分析は、複雑な振る舞いや失敗に対する重要な洞察を提供する。 この論文では、DevOpsの障害解決をサポートする3層アーキテクチャが紹介されている。 最初のレイヤであるLog Investigationは、自律的なログラベリングと異常分類を実行する。 本稿では,手動でログデータをラベル付けし,教師付きトレーニングと異常検出の精度評価を可能にする手法を提案する。 さらに、異常を3つのカテゴリに分類する分類を定義し、適切な方法の選択を保証する。 第2のレイヤであるAnomaly Detectionは、標準から逸脱した振る舞いを検出する。 本研究では,教師なし,弱教師付き,教師付き訓練に適応可能なフレキシブルな異常検出手法を提案する。 パブリックデータセットと業界データセットの評価では、F1スコアが0.98から1.0の間にあり、信頼性の高い異常検出が保証されている。 第3のレイヤであるRoot Cause Analysisは、障害、その起源、イベントシーケンスを記述する最小限のログセットを識別する。 トレーニングデータのバランスとキーサービスの識別によって、トップ10候補内のルート原因ログの90～98%を一貫して検出し、緩和のための実用的な洞察を提供する。 私たちの研究は、DevOpsが障害を効率的に解決するのに役立つように、ログ分析メソッドを設計し、最適化する方法について論じています。 これら3つのレイヤを統合することで、ITシステムの信頼性を高めるための堅牢な手法をチームに提供する。

関連論文リスト

• AnomalyGen: An Automated Semantic Log Sequence Generation Framework with LLM for Anomaly Detection [25.83270938475311]
  AnomalyGenは、異常検出用に特別に設計された最初の自動ログ合成フレームワークである。 本フレームワークは,プログラム解析とChain-of-Thought推論(CoT推論)を統合し,反復的なログ生成と異常アノテーションを実現する。 合成ログでベンチマークデータセットを増大させると、最大F1スコアの3.7%の改善が観測される。
  論文  参考訳（メタデータ） (2025-04-16T16:54:38Z)
• Log Summarisation for Defect Evolution Analysis [14.055261850785456]
  エラーログに対するオンラインセマンティックベースのクラスタリング手法を提案する。 また、時間ログクラスタの性能を評価するための新しい指標も導入する。
  論文  参考訳（メタデータ） (2024-03-13T09:18:46Z)
• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• Progressing from Anomaly Detection to Automated Log Labeling and Pioneering Root Cause Analysis [53.24804865821692]
  本研究では、ログ異常の分類を導入し、ラベル付けの課題を軽減するために、自動ラベリングについて検討する。 この研究は、根本原因分析が異常検出に続く未来を予見し、異常の根本原因を解明する。
  論文  参考訳（メタデータ） (2023-12-22T15:04:20Z)
• Log-based Anomaly Detection based on EVT Theory with feedback [31.949892354842525]
  本研究では,SeaLogと呼ばれる高精度で軽量かつ適応的なログベースの異常検出フレームワークを提案する。 本稿では,リアルタイムな異常検出を行うために,軽量で動的に成長するトリエ構造を用いたTrie-based Detection Agent (TDA)を提案する。 ログデータの進化に対応してTDAの精度を高めるため,専門家からフィードバックを得られるようにした。
  論文  参考訳（メタデータ） (2023-06-08T08:34:58Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Leveraging Log Instructions in Log-based Anomaly Detection [0.5949779668853554]
  本稿では,システムログからの信頼性と実用的な異常検出手法を提案する。 1000以上のGitHubプロジェクトのソースコードからログインストラクションを備えた異常検出モデルを構築することで、関連する作業の一般的な欠点を克服する。 提案手法はADLILogと呼ばれ,興味あるシステム(ターゲットシステム)からのログ命令とデータを組み合わせて,深層ニューラルネットワークモデルを学習する。
  論文  参考訳（メタデータ） (2022-07-07T10:22:10Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• A2Log: Attentive Augmented Log Anomaly Detection [53.06341151551106]
  異常検出は、ITサービスの信頼性とサービス性にとってますます重要になる。 既存の教師なし手法は、適切な決定境界を得るために異常な例を必要とする。 我々は,異常判定と異常判定の2段階からなる教師なし異常検出手法であるA2Logを開発した。
  論文  参考訳（メタデータ） (2021-09-20T13:40:21Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。