論文の概要: Tracing Agentic Failure from the Flow of Success

• arxiv url: http://arxiv.org/abs/2607.12747v1
• Date: Tue, 14 Jul 2026 13:16:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.153783
• Title: Tracing Agentic Failure from the Flow of Success
• Title（参考訳）: 成功の流れからのエージェント障害の追跡
• Authors: Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li,
• Abstract要約: 我々は、実際の失敗帰属モデルは、障害データに対する段階的な監督なしに軽量で訓練可能であるべきだと論じる。 本稿では,この問題をニューラル制御微分方程式を用いた一級学習とみなすOATを提案する。 わずか100の軌道でのトレーニングにより、OATはプロンプトベースベースラインよりも200-5000ドル速い。
• 参考スコア（独自算出の注目度）: 7.071269758592172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Failure attribution for LLM-based agentic systems, i.e., identifying which steps in a failure trajectory caused the task to fail, is critical for debugging and improving these systems. Existing approaches either rely on prompting-based pipelines, which are computationally expensive, or require post-training on failure trajectories with step-level error annotations, which are costly to collect and difficult to scale. We argue that a practical failure attribution model should be lightweight and trainable without step-level supervision on failure data. To this end, we address unsupervised failure attribution, i.e., training exclusively on successful trajectories and identifying error steps at inference time given a failure trajectory. We propose OAT, which casts this problem as one-class learning with neural controlled differential equations, modeling the dynamical pattern of successful trajectories in latent space. At inference time, each step in a failure trajectory is assigned an anomaly score based on its deviation from the dynamics learned on successful trajectories, which is then used to form a set of error steps. With training on only 100 successful trajectories, experiments show that OAT is 200--5000 $\times$ faster than prompting-based baselines, and, at the same time, consistently outperforms them in both in-domain and out-of-distribution datasets with +20% and +7% F1 scores, respectively, demonstrating that OAT is a promising and efficient direction for diagnosing agentic system failures.
• Abstract（参考訳）: LLMベースのエージェントシステムの障害属性、すなわち、障害経路におけるどのステップがタスクを失敗させたかを特定することは、これらのシステムのデバッグと改善に不可欠である。 既存のアプローチでは、計算コストのかかるプロンプトベースのパイプラインに依存するか、ステップレベルのエラーアノテーションを備えた障害トラジェクトリのポストトレーニングを必要とする。 我々は、実際の失敗帰属モデルは、障害データに対する段階的な監督なしに軽量で訓練可能であるべきだと論じる。 この目的のために、教師なしの障害帰属、すなわち、成功軌跡のみを訓練し、障害軌跡が与えられた推論時にエラーステップを特定する。 我々は,この問題をニューラル制御微分方程式を用いた一級学習とみなし,潜在空間における軌道の動的パターンをモデル化するOATを提案する。 推論時に、障害軌跡の各ステップは、成功した軌跡で学んだダイナミクスから逸脱した値に基づいて異常スコアが割り当てられ、一連のエラーステップを形成するのに使用される。 わずか100の軌道でのトレーニングでは、OATはプロンプトベースのベースラインよりも200-5000$\times$で、同時に、ドメイン内およびアウト・オブ・ディストリビューションデータセットにおいて、それぞれ+20%と+7%のF1スコアで、一貫してパフォーマンスを向上し、OATがエージェントシステムの障害を診断するための有望かつ効率的な方向であることを実証した。

関連論文リスト

• Learning from Failure: Inference-Time Self-Improvement for Computer-Use Agents [80.03824805228719]
  コンピュータ利用エージェントを開発する上での大きな課題は、大規模で高品質な軌道を収集することである。 我々は、失敗した軌道をエージェント改善に変換するデータ中心のパラダイムを提案する。 この手法をOSWorldベンチマーク上で,最先端のOpenCUA-72Bモデルを用いて検証する。
  論文  参考訳（メタデータ） (2026-06-30T07:44:37Z)
• FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search [11.638321375070047]
  LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。 我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
  論文  参考訳（メタデータ） (2026-05-30T15:11:35Z)
• VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
  大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。 しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。 本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-17T14:09:35Z)
• Verified Critical Step Optimization for LLM Agents [67.05296684575445]
  クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。 メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。 GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
  論文  参考訳（メタデータ） (2026-02-03T11:41:02Z)
• InT: Self-Proposed Interventions Enable Credit Assignment in LLM Reasoning [32.274434679047395]
  アウトカム・リワード強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。 標準RLは最終回答のレベルにのみクレジットを割り当て、結果が正しくない場合にすべての推論トレースを罰する。 Invention Training (InT) は、モデルが独自の推論トレースに基づいてきめ細かいクレジット割り当てを行う訓練パラダイムである。
  論文  参考訳（メタデータ） (2026-01-20T18:15:38Z)
• Hierarchical Vision Language Action Model Using Success and Failure Demonstrations [60.82332413442677]
  階層型視覚-言語-アクションモデルであるVINEを導入し,高レベル推論を低レベル制御から分離する。 システム2は、2Dシーングラフの抽象化を介して、実現可能性誘導木探索を行う。 システム1はエージェントのコアスキルを変更することなく、低レベルのアクションを実行する。
  論文  参考訳（メタデータ） (2025-12-03T15:58:38Z)
• Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models [53.20969621498248]
  本稿では,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。 RLBench-Fail, BridgeDataV2-Fail, UR5-Failの3つの新しい故障検出ベンチマークを構築した。 次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。
  論文  参考訳（メタデータ） (2025-12-01T17:57:27Z)
• Automatic Failure Attribution and Critical Step Prediction Method for Multi-Agent Systems Based on Causal Inference [8.823529310904162]
  マルチエージェントシステム(MAS)は複雑なタスクの自動化に不可欠であるが、その実践的展開は障害帰属の課題によって妨げられている。 マルチグラニュラリティ因果推論に基づくMASのための最初の失敗帰属フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-10T15:22:00Z)
• Validity Learning on Failures: Mitigating the Distribution Shift in Autonomous Vehicle Planning [2.3558144417896583]
  計画問題は、自律運転フレームワークの基本的な側面を構成する。 この問題に対処するための対策として,失敗に対する妥当性学習,VL(on failure)を提案する。 VL(on failure)は最先端の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:25:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。