論文の概要: Can LLMs Really Recover Microservice Failures? A Recovery-Aware Evaluation of Diagnosis-to-Action Reasoning

• arxiv url: http://arxiv.org/abs/2607.04623v1
• Date: Mon, 06 Jul 2026 03:05:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.023077
• Title: Can LLMs Really Recover Microservice Failures? A Recovery-Aware Evaluation of Diagnosis-to-Action Reasoning
• Title（参考訳）: LLMは本当にマイクロサービスの障害を回復できるか?診断対アクション推論の回復と評価
• Abstract要約: 本稿では,診断後インシデント応答に対するリカバリアクション評価フレームワークであるR2Actについて述べる。 R2Actはインシデントスキーマ、品質ゲート、アクション空間表現、リカバリ妥当性メトリクス、オフライン評価器、ライブ再生プロトコルを定義する。 システムから品質監査されたインシデント302件のベンチマークデータセットとして、このフレームワークをインスタンス化する。
• 参考スコア（独自算出の注目度）: 48.22526014304726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to interpret operational evidence and assist incident response in cloud-native microservice systems. However, recovery-oriented use cases require more than identifying a root cause. After observing symptoms and diagnosing a fault, an operator or agent must translate the diagnosis into a concrete recovery action, apply it to an admissible target, and verify that service health has been restored. Existing RCA and log-analysis evaluations are well-suited to diagnosis, but they do not characterize this subsequent action decision. This paper presents R2Act, a recovery-action evaluation framework for post-diagnosis incident response. R2Act defines an incident schema, quality gate, action-space representation, recovery-validity metrics, offline evaluator, and live-replay protocol. We instantiate the framework as a benchmark dataset of 302 quality-audited Kubernetes incidents from \system. Each incident provides synchronized multi-modal observations, root-cause labels, an incident-specific action space, and annotated valid and invalid recovery plans. We evaluate heuristic, supervised, RCA-oriented, deep log, and LLM-based methods. The strongest RAG-based LLMs reach 91.4\%--99.7\% root-cause service accuracy, yet their recovery validity remains only 36.8\%--60.3\%. Even when both the root-cause service and fault type are correct, recovery-oriented methods still choose invalid actions for 39.5\%--62.0\% of correctly diagnosed incidents. Overall, this work reveals that many recovery failures arise not from missing diagnostic knowledge, but from the difficulty of translating diagnostic evidence into valid recovery actions and admissible targets. This work provides a reproducible, simplified starting point for research and evaluation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、運用上のエビデンスを解釈し、クラウドネイティブなマイクロサービスシステムにおけるインシデント応答を支援するために、ますます使用されている。 しかし、リカバリ指向のユースケースは根本原因を特定する以上のものを必要とします。 症状を観察し、障害を診断した後、オペレーターまたはエージェントは、診断を具体的な回復作用に変換し、許容可能な標的に適用し、サービスの健康が回復したことを検証しなければならない。 既存のRCAおよびログ分析評価は診断に適しているが,その後の行動決定には適していない。 本稿では,診断後インシデント応答に対するリカバリアクション評価フレームワークであるR2Actについて述べる。 R2Actはインシデントスキーマ、品質ゲート、アクション空間表現、リカバリ妥当性メトリクス、オフライン評価器、ライブ再生プロトコルを定義する。 フレームワークは、‘system.org’から、品質監査されたKubernetesインシデント302のベンチマークデータセットとしてインスタンス化しています。 各インシデントは、同期されたマルチモーダル観測、ルート原因ラベル、インシデント固有のアクションスペース、アノテートされた有効かつ無効なリカバリ計画を提供する。 我々は, ヒューリスティック, 教師付き, RCA指向, ディープログ, LLMに基づく手法を評価した。 最強のRAG系LCMは91.4\%--99.7\%の根源精度に達するが、回復率は36.8\%--60.3\%にとどまる。 根本原因サービスと障害タイプの両方が正しい場合でも、リカバリ指向の手法は、正しく診断されたインシデントのうち39.5\%-62.0\%の無効アクションを選択する。 本研究は, 診断知識の欠如が原因ではなく, 診断証拠を有効な回復行動や許容目標に翻訳することが困難であることを明らかにする。 この研究は、再現可能で単純化された研究と評価の出発点を提供する。

関連論文リスト

• Beyond Fault Localization: A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis [13.865176720288938]
  我々は,根本原因分析(RCA)の性能評価にトラジェクトリレベルのフレームワークを用いる。 回答の正しさと診断の質の間には不一致がある。 私たちはこの分類を,2段階のディフェンス・イン・ディープスアーキテクチャであるDiagGuardとして運用しています。
  論文  参考訳（メタデータ） (2026-08-21T17:13:45Z)
• Diagnosis Before Recovery: Turning Agent Failures into Selective Self-Correction [22.654396704495934]
  開発セット障害は、どのリカバリ介入が許容可能かを決定することにより、欠落診断基板の一部を回復することができる。 DARCは、タスクファミリー障害モードをプロファイリングし、共有リカバリライブラリから不正な介入を発生させ、検証者選択によるデプロイメント成功コストポリシーを凍結する、診断誘導型リカバリハーネスである。
  論文  参考訳（メタデータ） (2026-08-12T08:14:45Z)
• Measure, Don't Optimize: Forecasting Recovery in LLM Unlearning [57.920153607557744]
  J-Accessは、モデル出力経路に沿ってターゲット概念がアクセス可能な頻度を測定する推論時監査である。 我々は8つの未学習手法にまたがる398の公開未学習モデルを監査する。
  論文  参考訳（メタデータ） (2026-08-11T20:16:20Z)
• AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
  LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。 Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。 コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
  論文  参考訳（メタデータ） (2026-07-21T06:21:13Z)
• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
  最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。 2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。 我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
  論文  参考訳（メタデータ） (2026-06-01T10:50:26Z)
• Self-Healing Agentic Orchestrators for Reliable Tool-Augmented Large Language Model Systems [0.10210859604701106]
  セルフヒーリングエージェントオーケストレータは、信頼性をランタイム境界制御問題として扱う。 セルフヒーリングは98.8%のタスク成功を達成し、リトライオンリーでは94.5%、フルリプランでは93.8%を達成している。
  論文  参考訳（メタデータ） (2026-05-31T19:27:22Z)
• Debugging the Debuggers: Failure-Anchored Structured Recovery for Software Engineering Agents [26.16025682022058]
  PROBEは、ソフトウェアエンジニアリングエージェントの構造化リカバリのための、障害対応フレームワークである。 PROBEは、リポジトリレベルのソフトウェア修復、エンタープライズワークフローのリカバリ、AIOpsサービス緩和の3つの設定で評価します。
  論文  参考訳（メタデータ） (2026-05-09T06:02:08Z)
• ANNEAL: Adapting LLM Agents via Governed Symbolic Patch Learning [12.44509691077682]
  本稿では,繰り返し発生する障害をプロセス知識グラフのシンボル編集に変換する神経シンボルエージェントであるANNEALを紹介する。 その中核となるメカニズムであるFDKA(Failure-Driven Knowledge Acquisition)は、責任のあるオペレータをローカライズし、制約付きLLM生成を通じて型付きパッチを合成し、提案を検証する。 4つのドメインと27のマルチシードランをまたいだANNEALは、永続的な構造修復を行う唯一の評価システムである。
  論文  参考訳（メタデータ） (2026-05-04T05:24:03Z)
• Doctor-RAG: Failure-Aware Repair for Agentic Retrieval-Augmented Generation [23.961760006898157]
  エージェント検索・拡張生成(Agentic RAG)は,質問応答や複雑な知識推論のパラダイムとして広く採用されている。 既存のアプローチでは、診断分析で停止するか、検索推論パイプライン全体を再実行することで、このような障害に対処するのが一般的である。 本稿では,Agenic RAGの異常を明示的エラーローカライゼーションとプレフィックス再利用によって修正する統合診断・修復フレームワークであるDoctor-RAGを提案する。
  論文  参考訳（メタデータ） (2026-04-01T13:13:27Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• GALA: Can Graph-Augmented Large Language Model Agentic Workflows Elevate Root Cause Analysis? [9.394057684388027]
  本稿では,マイクロサービスシステムにおける根本原因分析の新しいフレームワークであるGALAを紹介する。 GALAはオープンソースのベンチマークで評価され、最先端のメソッドよりも大幅に改善されている。 GALAは自動故障診断と実用的なインシデント解決のギャップを埋めることを示す。
  論文  参考訳（メタデータ） (2025-08-17T19:12:05Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。