論文の概要: Beyond Fault Localization: A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis
- arxiv url: http://arxiv.org/abs/2608.21310v1
- Date: Fri, 21 Aug 2026 17:13:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.647264
- Title: Beyond Fault Localization: A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis
- Title（参考訳）: フォールトローカライゼーションを超えて:マイクロサービス根因解析のためのLLMエージェントの軌道レベル研究
- Abstract要約: 我々は,根本原因分析(RCA)の性能評価にトラジェクトリレベルのフレームワークを用いる。
回答の正しさと診断の質の間には不一致がある。
私たちはこの分類を,2段階のディフェンス・イン・ディープスアーキテクチャであるDiagGuardとして運用しています。
- 参考スコア（独自算出の注目度）: 13.865176720288938
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing evaluations of automated root cause analysis (RCA) for microservices assess diagnostic performance mainly by endpoint correctness: whether a method localizes the responsible service. This criterion enables comparison but does not reveal the evidentiary basis of a diagnosis or the fault-propagation route connecting the source to observed symptoms, both of which an on-call site reliability engineer needs to judge whether action is warranted. We therefore treat RCA as an observable diagnostic process. Our trajectory-level framework evaluates agent executions against manually curated service-level fault-propagation paths. Applied to a public microservice RCA benchmark, it analyzes 3,500 diagnostic trajectories, characterizing where agents investigate and how they use retrieved telemetry. We find a disconnect between answer correctness and diagnostic quality: an agent may localize the fault source yet fail to reconstruct its propagation. Successful investigations stay on the fault-impact surface, act on retrieved evidence, and broaden their query repertoire as the search deepens. Failures arise when decisive evidence is omitted, retrieved evidence is misinterpreted, or unsupported inference substitutes for missing evidence. We operationalize this taxonomy as DiagGuard, a two-stage defense-in-depth architecture in which grounding surveys available observations before localization and verification audits the diagnosis against them. In an independent setting with a different model, benchmark, and service topology, DiagGuard raises Acc@1 from 43.5% to 52.5%. These results show that trajectory-level evaluation exposes limitations hidden by final-answer metrics and provides actionable guidance for improving automated RCA.
- Abstract（参考訳）: マイクロサービスの自動根本原因分析(RCA)の既存の評価は、主にエンドポイントの正確性(メソッドが責任あるサービスをローカライズするかどうか)によって診断性能を評価する。
この基準は、比較可能であるが、診断の明白な基礎や、発信元を観察された症状に接続する障害伝播経路を明らかにすることはなく、オンコールサイト信頼性エンジニアが行動が保証されているかどうかを判断する必要がある。
そこで我々はRCAを観察可能な診断方法として扱う。
我々のトラジェクトリレベルのフレームワークは、手動でキュレートされたサービスレベルのフォールトプロパゲーションパスに対するエージェントの実行を評価します。
公開マイクロサービスRCAベンチマークに適用されたこのベンチマークでは,3500の診断トラジェクトリを分析し,エージェントが調査する場所と,取得したテレメトリの使い方を特徴付ける。
エージェントは障害源をローカライズするが、伝播の再構築に失敗する可能性がある。
調査は失敗に終わった表面に留まり、証拠を回収し、調査が深まるにつれて検索レパートリーを広げる。
決定的な証拠が省略されたり、回収された証拠が誤って解釈されたり、欠落した証拠の推測に代えて、失敗が生じる。
この分類をDiagGuardとして運用している。DiagGuardは2段階のディフェンス・イン・ディープス・アーキテクチャで、局所化前の観測結果と診断の検証を行う。
異なるモデル、ベンチマーク、サービストポロジを持つ独立した環境では、DiagGuardはAcc@1を43.5%から52.5%に引き上げている。
これらの結果から, トラジェクトリレベルの評価では, 最終回答基準によって隠された限界が明らかになり, 自動RCAを改善するための実用的なガイダンスが提供されることがわかった。
関連論文リスト
- Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。
その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。
本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
論文 参考訳（メタデータ） (2026-07-07T03:20:52Z) - Can LLMs Really Recover Microservice Failures? A Recovery-Aware Evaluation of Diagnosis-to-Action Reasoning [48.22526014304726]
本稿では,診断後インシデント応答に対するリカバリアクション評価フレームワークであるR2Actについて述べる。
R2Actはインシデントスキーマ、品質ゲート、アクション空間表現、リカバリ妥当性メトリクス、オフライン評価器、ライブ再生プロトコルを定義する。
システムから品質監査されたインシデント302件のベンチマークデータセットとして、このフレームワークをインスタンス化する。
論文 参考訳（メタデータ） (2026-07-06T03:05:17Z) - Anomaly Detection and Root Cause Analysis for Microservice Systems [0.0]
マイクロサービスシステムは、クラウドアプリケーションを構築するために広く使われていますが、その複雑さにより、障害は避けられません。
この論文は、マイクロサービスの障害に対する自動異常検出と根本原因分析を前進させる。
論文 参考訳（メタデータ） (2026-06-08T00:50:43Z) - Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。
2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。
我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
論文 参考訳（メタデータ） (2026-06-01T10:50:26Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Debugging the Debuggers: Failure-Anchored Structured Recovery for Software Engineering Agents [26.16025682022058]
PROBEは、ソフトウェアエンジニアリングエージェントの構造化リカバリのための、障害対応フレームワークである。
PROBEは、リポジトリレベルのソフトウェア修復、エンタープライズワークフローのリカバリ、AIOpsサービス緩和の3つの設定で評価します。
論文 参考訳（メタデータ） (2026-05-09T06:02:08Z) - SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。
このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
論文 参考訳（メタデータ） (2026-04-30T19:33:58Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。
GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。
我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
論文 参考訳（メタデータ） (2026-03-03T09:36:43Z) - GALA: Can Graph-Augmented Large Language Model Agentic Workflows Elevate Root Cause Analysis? [9.394057684388027]
本稿では,マイクロサービスシステムにおける根本原因分析の新しいフレームワークであるGALAを紹介する。
GALAはオープンソースのベンチマークで評価され、最先端のメソッドよりも大幅に改善されている。
GALAは自動故障診断と実用的なインシデント解決のギャップを埋めることを示す。
論文 参考訳（メタデータ） (2025-08-17T19:12:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。