論文の概要: Executable Prefix Values for Locating Agent Failures
- arxiv url: http://arxiv.org/abs/2610.17633v1
- Date: Tue, 13 Oct 2026 03:00:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.495504
- Title: Executable Prefix Values for Locating Agent Failures
- Title（参考訳）: エージェント故障検出のための実行可能プリフィックス値
- Abstract要約: 我々は47と60の軌道の曲線を構築し、トラバース・ルーリックの下で4人のフロンティア判事によってラベル付けされた全てのステップを探索した。
ラベルがコントローラに必要なものをマークしていないことが分かりました。
ラベルの66%では、エージェントの成功確率はラベル付きステップで低下しない。
- 参考スコア（独自算出の注目度）: 6.848991830307162
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Work on debugging LLM agents treats the "first mistake" marked by a human or LLM judge as ground truth for where a trajectory failed. We ask whether such labels point at causes or symptoms, and make the distinction executable: we restart the agent from reconstructed intermediate states of a failed trajectory and estimate its prefix value V(h_t), the probability of success from each step, with a certified point of no return (PNR) for a failure. On 150 SWE-bench Verified tasks with two frozen open-weight agents, we build such curves for 47 and 60 failed trajectories and probe every step labeled by four frontier judges under the Traverse rubric. We find that the labels do not mark what a controller needs. Judges of different lineages agree on the exact step in only 21/57 cases, and the newest judges flag mistakes in 8/10 and 10/10 successful runs. For 66% of the labels, the agent's success probability does not drop at the labeled step; only 7/188 answers name the decisive step. Restarting at the measured restart point raises expected success from 0.44 to 0.57 offline, and real restarts confirm the advantage, whereas restarting at a judge's label does not (-0.08 to -0.03). We release our code, curves, and labels.
- Abstract（参考訳）: LLMエージェントのデバッギング作業は、人間またはLSMの裁判官が、軌道が故障した場所の根拠としての「最初の間違い」を扱う。
このようなラベルが原因や症状を指しているかどうかを問うとともに、その区別を実行可能なものにする: 障害軌跡の再構成された中間状態からエージェントを再起動し、そのプレフィックス値V(h_t)を推定する。
150 SWE-bench Verified task with two frozen open-weight agent, we build such curves for 47 and 60 failure trajectories and probe every steps by four frontier judges under the Traverse rubric。
ラベルがコントローラに必要なものをマークしていないことが分かりました。
異なる系統の裁判官は21/57のケースで正確なステップで一致し、最新の裁判官は8/10と10/10でフラグのミスを成功させる。
ラベルの66%では、エージェントの成功確率はラベル付けされたステップで低下せず、7/188の回答のみが決定的なステップである。
測定された再起動点でのリスタートは0.44から0.57に成功し、実際のリスタートは優位性を確認するが、審査員のラベルでのリスタートは(-0.08から-0.03)ではない。
コード、カーブ、ラベルを公開しています。
関連論文リスト
- Can Failed Trajectories Reveal Where Agents Go Wrong? Agentic Failure Attribution Without Step-Level Labels [11.132543389290825]
LLMエージェントの障害属性は、タスク障害の原因となる決定的なステップを特定することを目的としている。
既存のメソッドは、コストのかかるLCMプロンプト、ステップレベルのエラーアノテーション、あるいは検証された軌道に依存している。
ステップレベルのトレーニングラベルも、成功のみの参照セットも必要としない効果的なフレームワークであるSOAPを提案する。
論文 参考訳（メタデータ） (2026-10-09T06:58:59Z) - AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks [67.28108897589799]
AgentHorizonは、1,373のコンピュータ利用タスクのベンチマークである。
同様の(しかし互換性のない)要求を完了したのと、成功した軌道を区別する能力について、審査員を評価した。
我々の最高のエージェント・ジャッジであるGPT-5.5は、AHサブセット上で80.9%のバランスの取れた精度を達成する。
論文 参考訳（メタデータ） (2026-10-08T01:03:48Z) - Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳（メタデータ） (2026-09-30T16:40:22Z) - Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。
公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
論文 参考訳（メタデータ） (2026-09-28T03:10:18Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - DriftNet: A Dual-Head Trajectory Transformer for Detecting and Localizing Prompt Injection in LLM Agents [0.0]
オペレーターは、攻撃がどこから入ったか、どのステップが破損したか、そして明らかな毒が抵抗されたかの3つの事実を必要とします。
DriftNetは2つのヘッドトラジェクトリ変換器で、ログ化されたツール呼び出しトラジェクトリを読み出し、1つのフォワードパスで3つの質問すべてに答える。
我々の知る限り、このジョイント出力を発生させた最初の検出器である。
論文 参考訳（メタデータ） (2026-09-09T22:52:23Z) - trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories [0.0]
アウトカムのみの評価は、LLMエージェントのプロダクションデフォルトである。
地下の真実が建設によって知られている盲点を測定する。
審査員の評価は、結果の生存によって、リコールを成す必要があると論じる。
論文 参考訳（メタデータ） (2026-08-29T10:14:05Z) - Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail [0.0]
障害レコードの修正的なゲインを、失敗するアクションを再発光するログ確率の変化として定義すると、そのゲインは、命令チューニングされたモデル毎に負であることが分かります。
問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。
論文 参考訳（メタデータ） (2026-08-24T10:19:17Z) - FailForge: Distilling Procedural Competence from Persistent Failures into Code Agents [49.519184792774304]
FailForgeは、失敗したロールアウトをトレーニングシグナルに変換するエージェントフレームワークである。
FailForgeは、これまで失敗したインスタンスの26%を、限界的な追加コストでリカバリする。
論文 参考訳（メタデータ） (2026-08-09T08:22:57Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。