論文の概要: FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search

• arxiv url: http://arxiv.org/abs/2606.00765v1
• Date: Sat, 30 May 2026 15:11:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.767008
• Title: FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search
• Title（参考訳）: FALAT: 依存誘導探索によるLLMエージェント軌道の追跡障害
• Authors: Md Nakhla Rafi, Md Ahasanuzzaman, Dong Jae Kim, Zhijie Wang, Tse-Hsun Chen,
• Abstract要約: LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。 我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
• 参考スコア（独自算出の注目度）: 11.638321375070047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based agents increasingly solve complex tasks through long trajectories involving reasoning steps, tool calls, and inter-agent communication. However, when these agents fail, it is often unclear which agent caused the failure and which step introduced the decisive error. This attribution problem is challenging because mistakes can propagate across the trajectory: later actions may appear incorrect, but only because they depend on an earlier corrupted state. Therefore, failure attribution cannot be treated as independent step-level classification. We propose FALAT, a diagnostic framework for failure attribution in LLM agent trajectories. FALAT frames attribution as a dependency-guided search problem. It first constructs an expectation of how the task should be solved and uses this expectation to identify suspicious regions in the trajectory. It then traces dependencies among decisions, tool outputs, and agent messages to distinguish error-introducing steps from steps that merely inherit or propagate prior mistakes. Finally, FALAT evaluates whether correcting a candidate step would be sufficient to recover the expected outcome, allowing it to identify both the responsible agent and the decisive failure step. We evaluate FALAT on the Who&When benchmark, which includes both algorithm-generated and hand-crafted multi-agent failure trajectories. The results show that FALAT consistently improves responsible-agent and decisive-step attribution. Its best configurations achieve 46.0% step-level accuracy on algorithm-generated trajectories and 29.1% on the more challenging hand-crafted trajectories, outperforming specialized attribution baselines and direct prompting with standalone LLMs. These findings suggest that dependency-aware reasoning is essential for reliable failure diagnosis in LLM agent systems.
• Abstract（参考訳）: LLMベースのエージェントは、推論ステップ、ツールコール、エージェント間通信を含む長い軌道を通して、複雑なタスクを徐々に解決する。 しかし、これらのエージェントが失敗した場合、どのエージェントが障害を引き起こし、どのステップが決定的なエラーを発生させたかはよく分かっていない。 この帰属問題(英語版)は、過ちが軌道を越えて伝播しうるため、困難である:後の行動は不正確に見えるが、それらは以前に腐敗した状態に依存するためのみである。 したがって、障害の帰属は独立した段階的な分類として扱うことはできない。 LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。 FALATは依存誘導探索問題として帰属する。 まず、タスクの解決方法の予測を構築し、この期待を使って軌道内の疑わしい領域を識別する。 次に、意思決定、ツール出力、エージェントメッセージ間の依存関係をトレースして、エラー導入ステップと、単に前のミスを継承または伝播するステップを区別する。 最後に、FALATは、候補ステップの修正が期待された結果を取り戻すのに十分であるかどうかを評価し、責任あるエージェントと決定的な失敗ステップの両方を識別できるようにする。 我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。 その結果、FALATは責任エージェントと決定ステップの属性を継続的に改善することがわかった。 アルゴリズム生成軌道の46.0%の精度と、より難しい手作り軌道の29.1%の精度を達成し、特別な属性ベースラインを上回り、スタンドアロンのLCMで直接的にプロンプトする。 これらの結果から, LLMエージェントシステムにおける信頼性障害診断には依存性認識推論が不可欠であることが示唆された。

関連論文リスト

• VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
  大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。 しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。 本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-17T14:09:35Z)
• AgentTrace: Causal Graph Tracing for Root Cause Analysis in Deployed Multi-Agent Systems [0.0]
  本稿では,デプロイされたマルチエージェントAIシステムにおけるポストホック障害診断のための軽量因果トレースフレームワークであるAgentTraceを紹介する。 AgentTraceは、実行ログから因果グラフを再構築し、エラー発生から後方にトレースし、解釈可能な構造信号と位置信号を使って候補根本原因をランク付けする。 この結果から,因果トレースはエージェントシステムの信頼性と信頼性を向上させるための実践的な基盤となることが示唆された。
  論文  参考訳（メタデータ） (2026-03-16T00:46:44Z)
• AgentRx: Diagnosing AI Agent Failures from Execution Trajectories [9.61742219198197]
  構造化されたAPI、インシデント管理、オープンなWeb/ファイルタスクにまたがる115の障害トラジェクトリのベンチマークをリリースする。 各トラジェクトリには、臨界障害ステップと、基底理論から派生したクロスドメイン障害分類のカテゴリが注釈付けされている。 本稿では,ドメインに依存しない自動診断フレームワークであるAgentRXについて述べる。
  論文  参考訳（メタデータ） (2026-02-02T18:54:07Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
  LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。 本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。 最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
  論文  参考訳（メタデータ） (2025-04-30T23:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。