論文の概要: Can Failed Trajectories Reveal Where Agents Go Wrong? Agentic Failure Attribution Without Step-Level Labels
- arxiv url: http://arxiv.org/abs/2610.13105v1
- Date: Fri, 09 Oct 2026 06:58:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.441621
- Title: Can Failed Trajectories Reveal Where Agents Go Wrong? Agentic Failure Attribution Without Step-Level Labels
- Title（参考訳）: 障害が原因でエージェントが誤魔化されるのか? ステップレベルラベルのないエージェント的障害の帰属
- Abstract要約: LLMエージェントの障害属性は、タスク障害の原因となる決定的なステップを特定することを目的としている。
既存のメソッドは、コストのかかるLCMプロンプト、ステップレベルのエラーアノテーション、あるいは検証された軌道に依存している。
ステップレベルのトレーニングラベルも、成功のみの参照セットも必要としない効果的なフレームワークであるSOAPを提案する。
- 参考スコア（独自算出の注目度）: 11.132543389290825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Failure attribution for LLM agents aims to identify decisive steps responsible for task failure, which is critical for debugging and improving agentic systems. Existing methods rely on costly LLM prompting, step-level error annotations, or verified successful trajectories that lack failure signals for assistance. In this paper, we study failure attribution from step-unlabeled failure trajectories, where each trajectory is known to have failed but its decisive step is unknown. We propose SOAP (Spectral scOring with Attention-guided Propagation), an effective framework requiring neither step-level training labels nor a separate success-only reference set. SOAP first constructs a spectral reference space from LLM representations and assigns each step a base error score according to its projection behavior. Importantly, later steps may exhibit stronger failure signals because they inherit an earlier mistake, causing independent scorers to favor downstream consequences over the decisive error. To address this downstream contamination, SOAP derives soft step dependencies from attention patterns and propagates downstream error evidence toward its likely upstream sources. Extensive experiments show that SOAP consistently improves attribution performance over competitive baselines.
- Abstract（参考訳）: LLMエージェントの障害属性は、エージェントシステムのデバッグと改善に不可欠なタスク障害の原因となる決定的なステップを特定することを目的としている。
既存の手法は、コストのかかるLCMプロンプト、ステップレベルのエラーアノテーション、あるいはアシストの障害信号が欠如している軌道の検証に頼っている。
本稿では,各軌道が故障したことが知られているが,その決定的なステップが不明な,ステップ未ラベルの故障軌跡からの故障帰属について検討する。
SOAP(Spectral scOring with Attention-guided Propagation)は,ステップレベルのトレーニングラベルや成功のみの参照セットを必要としない,効果的なフレームワークである。
SOAP はまず LLM 表現からスペクトル参照空間を構築し、各ステップにプロジェクションの振る舞いに応じてベースエラースコアを割り当てます。
重要なことは、後続のステップは、以前のミスを継承するため、より強い障害信号を示す可能性があるため、独立したスコアラは決定的なエラーよりも下流の結果を優先する。
この下流の汚染に対処するため、SOAPは注意パターンからソフトステップの依存関係を導き出し、下流のエラー証拠を上流のソースへと伝播させます。
大規模な実験により、SOAPは競争力のあるベースラインよりも属性パフォーマンスを一貫して改善することを示している。
関連論文リスト
- Error-Propagation Modeling for Failure Attribution in LLM-Based Multi-Agent Systems [29.307319005914227]
この研究において、帰属ターゲットは決定的なエラーであり、エージェント-ステップペアとして定義され、修正が失敗した実行を回復する。
既存のアプローチは、インタラクション間でエラーがどのように伝播するかを明示的にモデル化したり、未解決のループで永続化したりすることなく、不審なステップをほとんど特定する。
textbfError- propagation textbfModeling for textbfFailure textbfAttribution (textbfEMFA)を提案する。
Who&Whenベンチマークでは、EMFAは最先端のステップレベルの属性の精度を達成し、残る。
論文 参考訳（メタデータ） (2026-10-08T09:44:59Z) - DeFA: Dependency-Guided Failure Attribution for LLM Agents [23.995633236163695]
エージェント障害帰属のための依存性ガイダンスフレームワークであるDeFAを紹介する。
DeFAはまず、プロトコルの関係とセマンティック依存関係をトラジェクトリにまたがるイベント依存グラフに結合する。
次に、タスク要求に違反する可能性のあるイベントを特定し、ソースとその後の影響をトレースして、障害伝播グラフを構築する。
論文 参考訳（メタデータ） (2026-10-01T07:50:22Z) - DCFA: Dual-view Causal-inspired Attribution for Failure Reasoning in LLM-based Multi-agent Systems [61.11435469308521]
大規模言語モデルシステムにおける障害帰属のためのトレーニング不要フレームワークDCFAを提案する。
DCFAは、システムトレースから構造化因果インスパイアされた依存性グラフを構築するグローバルモジュールを統合する。
実験の結果、DCFAは最先端のベースラインよりもステップレベルの精度を最大8.27%向上することが示された。
論文 参考訳（メタデータ） (2026-09-04T05:29:31Z) - TRAJDEBUG: Tracing Error Lifecycle to Identify Critical Failures in Long-Horizon Agent Trajectories [48.638067300108276]
臨界エラー検出は、最終失敗の原因となる軌道上の最初期のエラーステップを見つけることを目的としている。
長い軌道は、ステップを判断する証拠は遠方の指示、観察、事前の文脈に散らばっているため、個々のエラーを特定するのを困難にしている。
長距離エラー検出に対処するエラーライフサイクルトレースフレームワークであるTraj Debugを提案する。
論文 参考訳（メタデータ） (2026-08-06T17:51:20Z) - Tracing Agentic Failure from the Flow of Success [7.071269758592172]
我々は、実際の失敗帰属モデルは、障害データに対する段階的な監督なしに軽量で訓練可能であるべきだと論じる。
本稿では,この問題をニューラル制御微分方程式を用いた一級学習とみなすOATを提案する。
わずか100の軌道でのトレーニングにより、OATはプロンプトベースベースラインよりも200-5000ドル速い。
論文 参考訳（メタデータ） (2026-07-14T13:16:14Z) - FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search [11.638321375070047]
LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。
我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
論文 参考訳（メタデータ） (2026-05-30T15:11:35Z) - VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。
しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。
本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-17T14:09:35Z) - AgentRx: Diagnosing AI Agent Failures from Execution Trajectories [9.61742219198197]
構造化されたAPI、インシデント管理、オープンなWeb/ファイルタスクにまたがる115の障害トラジェクトリのベンチマークをリリースする。
各トラジェクトリには、臨界障害ステップと、基底理論から派生したクロスドメイン障害分類のカテゴリが注釈付けされている。
本稿では,ドメインに依存しない自動診断フレームワークであるAgentRXについて述べる。
論文 参考訳（メタデータ） (2026-02-02T18:54:07Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳（メタデータ） (2025-04-30T23:09:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。