論文の概要: LongRCA Bench: Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures
- arxiv url: http://arxiv.org/abs/2608.15242v1
- Date: Sat, 15 Aug 2026 14:06:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.237939
- Title: LongRCA Bench: Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures
- Title（参考訳）: LongRCA Bench : 長期薬物欠乏症における責任ある役割と根本原因の診断
- Abstract要約: 提案するLongRCA Benchは,5つの領域にわたる1,140個の障害軌跡から構成される。
責任ある役割と最初期の決定的な根本原因のステップについて、独立して評価された人間のラベルを提供する。
また、セグメント要約から候補エラーステップを抽出し、利用可能な早期ハンドオフ命令にトレースする訓練不要な手法であるRoot-Cause Trajectory Attribution (RCTA)を提案する。
- 参考スコア（独自算出の注目度）: 31.00536426862317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When a long-horizon agent execution fails, outcome-level evaluation reveals the unsuccessful result but not where the decisive error entered the trajectory. Developers must then inspect the full execution to identify the responsible role and localize the earliest decisive root-cause step. Existing failure-attribution benchmarks largely focus on shorter traces, leaving diagnosis across hundreds of recorded steps underexplored. We introduce LongRCA Bench, comprising 1,140 failed trajectories across five domains without injected errors. It provides independently scored human labels for the responsible role and earliest decisive root-cause step. The median trajectory contains 145 steps, and the strongest baseline reaches only 13.2% exact root-step accuracy. We further present Root-Cause Trajectory Attribution (RCTA), a training-free method that retrieves candidate error steps from segment summaries and traces them to available earlier handoff instructions. Using the same backbone, benchmark instances, and scoring protocol, RCTA reaches 51.1% responsible-role accuracy and 24.1% exact root-step accuracy. These results highlight the need to evaluate responsible-role attribution and exact root-step localization as separate targets in long-trajectory failure diagnosis.
- Abstract（参考訳）: 長い水平エージェントの実行が失敗すると、結果レベル評価は失敗するが、決定的なエラーが軌道に進入しない。
開発者は、責任ある役割を特定し、最初期の決定的な根本原因ステップをローカライズするために、完全な実行を検査する必要がある。
既存のフェール・アトリビューション・ベンチマークは主に短いトレースに重点を置いており、何百もの記録されたステップの診断を過小評価している。
提案するLongRCA Benchは,5つの領域にわたる1,140個の障害軌跡から構成される。
責任ある役割と最初期の決定的な根本原因のステップについて、独立して評価された人間のラベルを提供する。
中央の軌道は145のステップを含み、最強のベースラインは13.2%の正確なルートステップ精度にしか達しない。
さらに、セグメント要約から候補エラーステップを抽出し、それらを利用可能な早期ハンドオフ命令にトレースする、トレーニング不要な手法であるRoot-Cause Trajectory Attribution (RCTA)を提案する。
同じバックボーン、ベンチマークインスタンス、スコアリングプロトコルを使用して、RCTAは51.1%の責任ロール精度、24.1%の正確なルートステップ精度を達成した。
これらの結果は, 長期的障害診断において, 責任遺伝子帰属と正確なルートステップの局所化を別個の標的として評価する必要性を浮き彫りにした。
関連論文リスト
- DynSTEER: Dynamic Stage-wise Trajectory Evaluation and Execution-time Review for Agents [29.982261116765162]
DynSTEERはエージェント軌道評価のための動的ステージワイドフレームワークである。
キー実行ノードでロールアウトをセグメンテーションし、ステージレベルの結果に基づいてマルチ層レビュー戦略を適用する。
公開タスクビューからパス耐性のマイルストーングラフをコンパイルし、参照リークなしでさまざまな法的パスを保存する。
論文 参考訳（メタデータ） (2026-09-13T16:18:03Z) - Root-Cause Attribution Is a Search Problem: Continual Search for Long-Horizon Agent Failures [11.365690419023425]
既存のルート起因属性法は, 実行トレースが大きくなるにつれて, 診断精度が低下する。
連続検索は、連続的に、未解決の診断証拠を探し続けるよう裁判官に訴える。
MegaRCA-Mixは、長期にわたる実行負荷の多いタスクにまたがる50の人為的な障害試験の挑戦的なテストベッドを提供する。
論文 参考訳（メタデータ） (2026-09-11T19:29:21Z) - TRAJDEBUG: Tracing Error Lifecycle to Identify Critical Failures in Long-Horizon Agent Trajectories [48.638067300108276]
臨界エラー検出は、最終失敗の原因となる軌道上の最初期のエラーステップを見つけることを目的としている。
長い軌道は、ステップを判断する証拠は遠方の指示、観察、事前の文脈に散らばっているため、個々のエラーを特定するのを困難にしている。
長距離エラー検出に対処するエラーライフサイクルトレースフレームワークであるTraj Debugを提案する。
論文 参考訳（メタデータ） (2026-08-06T17:51:20Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - OpenRCA 2.0: From Outcome Labels to Causal Process Supervision [15.525905024836701]
本稿では,因果伝播経路の再構築に既知の介入を活用する段階的ラベリングプロトコルPAVEを紹介する。
PAVEを適用することでOpenRCA 2.0(500インスタンス)が得られる。
論文 参考訳（メタデータ） (2026-06-25T15:24:23Z) - FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search [11.638321375070047]
LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。
我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
論文 参考訳（メタデータ） (2026-05-30T15:11:35Z) - ExComm: Exploration-Stage Communication for Error-Resilient Agentic Test-Time Scaling [57.42714978834704]
ExCommは、探索段階のエージェントテストタイムスケーリングのための通信プロトコルである。
ExCommは、強いテスト時間スケーリングベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-21T07:38:44Z) - ChromaFlow: A Negative Ablation Study of Orchestration Overhead in Tool-Augmented Agent Evaluation [0.0]
本稿では,プランナー指向実行,特殊なツール使用,テレメトリ駆動評価を中心に構築されたツール拡張型自律推論フレームワークを提案する。
クリーンな評価制約の下でGAIA 2023 Level-1バリデーションタスクのクロマフローを解析する。
論文 参考訳（メタデータ） (2026-05-13T20:40:37Z) - AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。
ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。
探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
論文 参考訳（メタデータ） (2026-03-15T16:13:58Z) - Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。
既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。
本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
論文 参考訳（メタデータ） (2026-01-26T21:38:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。