論文の概要: Debugging the Debuggers: Failure-Anchored Structured Recovery for Software Engineering Agents

• arxiv url: http://arxiv.org/abs/2605.08717v1
• Date: Sat, 09 May 2026 06:02:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.834288
• Title: Debugging the Debuggers: Failure-Anchored Structured Recovery for Software Engineering Agents
• Title（参考訳）: デバッガのデバッグ: ソフトウェアエンジニアリングエージェントの障害対応構造化リカバリ
• Abstract要約: PROBEは、ソフトウェアエンジニアリングエージェントの構造化リカバリのための、障害対応フレームワークである。 PROBEは、リポジトリレベルのソフトウェア修復、エンタープライズワークフローのリカバリ、AIOpsサービス緩和の3つの設定で評価します。
• 参考スコア（独自算出の注目度）: 26.16025682022058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software engineering agents are increasingly deployed in evaluable engineering environments, yet post-failure recovery remains costly, manual, and ad hoc. Existing systems expose traces or generate follow-up feedback, but they do not convert heterogeneous runtime evidence into grounded, bounded recovery guidance for a subsequent attempt. We present PROBE, a failure-anchored framework for structured recovery in software engineering agents. PROBE organizes failed-run telemetry into structured evidence, structured diagnosis, and bounded recovery guidance through a Telemetry Layer, a Diagnosis Layer, and a Guidance Gate. The Telemetry Layer preserves fine-grained runtime signals, the Diagnosis Layer fuses cross-signal evidence into grounded diagnoses, and the Guidance Gate produces diagnosis-derived guidance only when it is evidence-grounded, actionable, and within the scope of agent-side behavior. We evaluate PROBE across three settings: repository-level software repair, enterprise workflow recovery, and AIOps service mitigation. On 257 initially unresolved cases, PROBE achieves 65.37% Top-1 diagnosis accuracy and a 21.79% recovery rate, outperforming the strongest non-PROBE baseline by 43.58 and 12.45 percentage points. The results reveal a diagnosis-recovery gap: accurate diagnosis is necessary but insufficient unless translated into bounded guidance that a subsequent attempt can execute and verify. Beyond controlled evaluation, a Microsoft IcM prototype shows that PROBE can attach as a non-intrusive side channel to existing service-diagnosis workflows without changing the agent policy, toolset, or execution budget. These results suggest that telemetry-grounded, failure-anchored recovery can improve post-failure recoverability under realistic engineering constraints.
• Abstract（参考訳）: ソフトウェアエンジニアリングエージェントは、評価可能なエンジニアリング環境にますますデプロイされていますが、障害後のリカバリは、コスト、マニュアル、アドホックなままです。 既存のシステムはトレースを公開するか、フォローアップフィードバックを生成するが、不均一なランタイムエビデンスを、その後の試行のために根拠付き境界付きリカバリガイダンスに変換することはできない。 本稿では,ソフトウェア工学エージェントの構造化リカバリのためのフレームワーク PROBE を提案する。 PROBEは、失敗したテレメトリを構造化された証拠、構造化された診断、およびテレメトリ層、診断層、誘導ゲートを通じて境界付けられた回復誘導に整理する。 テレメトリ・レイヤは粒度の細かい実行時信号を保存し、診断層はクロスシグナルの証拠を接地診断に融合させ、ガイダンスゲートは、エビデンスに接地され、行動可能であり、エージェント側の行動の範囲内でのみ、診断に基づくガイダンスを生成する。 PROBEは、リポジトリレベルのソフトウェア修復、エンタープライズワークフローのリカバリ、AIOpsサービス緩和の3つの設定で評価します。 257の未解決例では65.37%のTop-1診断精度と21.79%の回復率を達成し、非PROBEベースラインの43.58、12.45ポイントを上回った。 その結果,診断と回復のギャップが明らかとなった: 正確な診断は必要だが,その後の試みが実行および検証可能な境界ガイダンスに変換されない限り不十分である。 コントロールされた評価の他に、Microsoft IcMのプロトタイプでは、エージェントポリシーやツールセット、実行予算を変更することなく、既存のサービス診断ワークフローへの非侵入的なサイドチャネルとして PROBE をアタッチできることが示されている。 これらの結果から,実工学的制約下でのテレメトリ・グラウンドド・フェールアンコールド・リカバリは,故障後の回復性を向上させることが示唆された。

関連論文リスト

• Beyond Fault Localization: A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis [13.865176720288938]
  我々は,根本原因分析(RCA)の性能評価にトラジェクトリレベルのフレームワークを用いる。 回答の正しさと診断の質の間には不一致がある。 私たちはこの分類を,2段階のディフェンス・イン・ディープスアーキテクチャであるDiagGuardとして運用しています。
  論文  参考訳（メタデータ） (2026-08-21T17:13:45Z)
• Diagnosis Before Recovery: Turning Agent Failures into Selective Self-Correction [22.654396704495934]
  開発セット障害は、どのリカバリ介入が許容可能かを決定することにより、欠落診断基板の一部を回復することができる。 DARCは、タスクファミリー障害モードをプロファイリングし、共有リカバリライブラリから不正な介入を発生させ、検証者選択によるデプロイメント成功コストポリシーを凍結する、診断誘導型リカバリハーネスである。
  論文  参考訳（メタデータ） (2026-08-12T08:14:45Z)
• FailForge: Distilling Procedural Competence from Persistent Failures into Code Agents [49.519184792774304]
  FailForgeは、失敗したロールアウトをトレーニングシグナルに変換するエージェントフレームワークである。 FailForgeは、これまで失敗したインスタンスの26%を、限界的な追加コストでリカバリする。
  論文  参考訳（メタデータ） (2026-08-09T08:22:57Z)
• AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
  LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。 Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。 コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
  論文  参考訳（メタデータ） (2026-07-21T06:21:13Z)
• AgentTether: Graph-Guided Diagnosis and Runtime Intervention for Reliable LLM Agent Operation [27.0859707906163]
  AgentTetherは実行時修復フレームワークで、基礎となるエージェントや環境を変更することなく、実行後の診断とガイド付きリカバリを自動化する。 オフラインのノーマルビヘイビアモデルとランローカルグラフ検出器を組み合わせることで、障害クリティカルなサブトラジェクトリをローカライズする。 オフラインの診断とガイダンスツールとして、あるいはオンラインの修復レイヤとしてデプロイできる。
  論文  参考訳（メタデータ） (2026-07-07T13:40:31Z)
• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• Can LLMs Really Recover Microservice Failures? A Recovery-Aware Evaluation of Diagnosis-to-Action Reasoning [48.22526014304726]
  本稿では,診断後インシデント応答に対するリカバリアクション評価フレームワークであるR2Actについて述べる。 R2Actはインシデントスキーマ、品質ゲート、アクション空間表現、リカバリ妥当性メトリクス、オフライン評価器、ライブ再生プロトコルを定義する。 システムから品質監査されたインシデント302件のベンチマークデータセットとして、このフレームワークをインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-06T03:05:17Z)
• Early Diagnosis of Wasted Computation in Multi-Agent LLM Systems via Failure-Aware Observability [8.036549927091286]
  本稿では,マルチエージェントLSMトレースにおける無駄な計算を診断するための,故障を考慮した可観測性フレームワークを提案する。 このフレームワークを3エージェントの質問応答システムでインスタンス化し、165のGAIA検証トレース上で同一の実行上限で評価する。
  論文  参考訳（メタデータ） (2026-05-31T17:50:11Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• Skill-RAG: Failure-State-Aware Retrieval Augmentation via Hidden-State Probing and Skill Routing [12.09179106162719]
  本稿では,隠れ状態のプローバとプロンプトベースのスキルルータを結合した障害対応RAGフレームワークであるSkill-RAGを提案する。 実験により,Skill-RAGは多ターン検索後に持続するハードケースの精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-04-17T07:25:43Z)
• ToolMisuseBench: An Offline Deterministic Benchmark for Tool Misuse and Recovery in Agentic Systems [0.0]
  エージェントを使用するツールは、言語理解が強い場合でも、運用上の理由で失敗することが多い。 よくある原因は、無効な引数、インターフェイスのドリフト、弱い回復、非効率的な再試行行動である。 ToolMisuseBenchは、ツールの誤用とリカバリを明示的なステップ、コール、リトライの予算で評価するためのオフライン決定性ベンチマークです。
  論文  参考訳（メタデータ） (2026-04-02T00:42:29Z)
• TRAJEVAL: Decomposing Code Agent Trajectories for Fine-Grained Diagnosis [23.834704102474927]
  コードエージェントはGitHubの問題を解決することができるが、失敗した場合、現在の評価は場所や理由を可視化しない。 本稿では,エージェントトラジェクトリを3つの解釈段階に分解する診断フレームワークTRAJEVALを紹介する。 我々はこれらの診断が予測可能であることを確認し、0.87-2.1% MAEでモデルレベルのPass@1予測を達成する。
  論文  参考訳（メタデータ） (2026-03-25T05:27:03Z)
• Detect--Repair--Verify for LLM-Generated Code: A Multi-Language, Multi-Granularity Empirical Study [10.18490328199727]
  大規模な言語モデルは実行可能なソフトウェアアーチファクトを生成することができるが、そのセキュリティはエンドツーエンドの評価が難しいままである。 本研究では、脆弱性を検出し、修復し、セキュリティおよび機能テストで再チェックするDRVワークフローを通じて、その問題を調査する。 現在の証拠の4つのギャップに対処する: LLMの生成したアーティファクトの試験的なベンチマークの欠如、パイプラインレベルの有効性に関する限られた証拠、修正ガイダンスとしての検出レポートの不確実な信頼性、検証中の不確実な修復信頼性。
  論文  参考訳（メタデータ） (2026-03-24T18:18:30Z)
• VIBEPASS: Can Vibe Coders Really Pass the Vibe Check? [46.85901599242161]
  emphFault-Triggering Test Generation(FT-Test)とemphFault-targeted Program repair(FPR)の2つの組み合わせタスクを評価した。 故障対象推論は一般的な符号化能力ではスケールしないことがわかった。 自己生成テストが障害の発見に成功すると、結果として得られた修復結果が外部から提供されたテストによってガイドされた修復と一致したり、性能が低下する。
  論文  参考訳（メタデータ） (2026-03-16T21:14:28Z)
• Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
  我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。 内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-13T20:44:15Z)
• AgentRx: Diagnosing AI Agent Failures from Execution Trajectories [9.61742219198197]
  構造化されたAPI、インシデント管理、オープンなWeb/ファイルタスクにまたがる115の障害トラジェクトリのベンチマークをリリースする。 各トラジェクトリには、臨界障害ステップと、基底理論から派生したクロスドメイン障害分類のカテゴリが注釈付けされている。 本稿では,ドメインに依存しない自動診断フレームワークであるAgentRXについて述べる。
  論文  参考訳（メタデータ） (2026-02-02T18:54:07Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。