論文の概要: Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success
- arxiv url: http://arxiv.org/abs/2610.40444v1
- Date: Thu, 29 Oct 2026 16:58:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.116805
- Title: Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success
- Title（参考訳）: Prefix Executability: 最終成功以上のツール使用エージェントの評価
- Abstract要約: Prefix Executabilityは、ツール使用エージェントのためのトラジェクトリレベルの評価プロトコルである。
BFCL-v3 Multi-turn と ToolSandbox の成層化サンプルと,Airline/Retail ベーススプリットの完全な$3-bench でプロトコルをインスタンス化する。
- 参考スコア（独自算出の注目度）: 44.97010235220804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tool-use benchmarks often score agents by final task success, but terminal outcomes can obscure whether the intermediate tool-call trajectory was executable. We propose prefix executability as a trajectory-level evaluation protocol for tool-using agents. The protocol measures whether every prefix of a predicted tool-call sequence remains executable under tool schemas, state preconditions, and data dependencies, and summarizes reliability using Prefix Executability Curves (PEC), First-Error Depth (FED), Trajectory Executability Rate (TER), horizon-normalized AUC-PEC, and Recovery Rate (RR). We instantiate the protocol on stratified samples from BFCL-v3 multi-turn and ToolSandbox, and on the complete Airline/Retail base splits of $τ^3$-bench. We observe that outcome-only and prefix-level rankings diverge: agents whose execution is conditioned on an unverified plan often achieve higher point-estimate final success than non-plan-conditioned baselines while substantially lowering TER and AUC-PEC. These divergences are precisely the failure modes that prefix executability is designed to expose: they reveal whether apparent success rests on an executable trajectory, where invalidity first enters, and whether success follows recovery from an earlier failure. As a validation intervention, explicit pre-execution plan checking can improve executable-prefix survival while maintaining competitive terminal success. These results show that final success alone is insufficient for evaluating tool-use agents and that prefix-level executability provides an actionable reliability signal for comparing agents, diagnosing failures, and assessing validation mechanisms.
- Abstract（参考訳）: ツールユースベンチマークは、最終タスクの成功によってエージェントをスコアすることが多いが、中間ツールコール軌跡が実行可能かどうかを端末結果が不明瞭にすることができる。
ツール利用エージェントのためのトラジェクトリレベルの評価プロトコルとして,プレフィックス実行可能性を提案する。
このプロトコルは、予測ツール呼び出しシーケンスのプレフィックスがツールスキーマ、状態前条件、データ依存の下で実行可能であるかどうかを計測し、Prefix Executability Curves (PEC)、First-Error Depth (FED)、Trajectory Executability Rate (TER)、地平線正規化AUC-PEC、Recovery Rate (RR)を使用して信頼性を要約する。
BFCL-v3 Multi-turn と ToolSandbox の成層化サンプルと,Airline/Retail ベーススプリットを$τ^3$-bench でインスタンス化する。
非計画条件のベースラインよりもポイント推定最終成功率が高く,TERとAUC-PECは大幅に低下することが多い。
これらのばらつきは、アクセプタビリティをプレフィックスとして設計した、正確には障害モードである: 明らかな成功が実行可能軌道に依存しているか、無効性が最初に入力されるか、成功が早期の障害からの回復に続くか、を明らかにする。
検証の介入として、明示的な事前実行計画チェックは、競合する端末の成功を維持しながら、実行前生存を改善することができる。
これらの結果から, ツール使用エージェントの評価には最終成功だけでは不十分であり, プレフィックスレベルの実行性は, エージェントの比較, 故障の診断, バリデーションメカニズムの評価に有効な信頼性信号を提供することがわかった。
関連論文リスト
- FIT-MAC: A Closed-Loop Multi-Agent Framework for Robust Vision-Language-Action Models [15.964545079352755]
提案するFIT-MACは,フェールアウェアでクローズドループのマルチエージェント制御フレームワークで,推論時のVLAポリシーの堅牢性を向上させる。
FIT-MACは、推論時制御レイヤでVLAポリシーを強化する。まず、Planner Agentが言語命令を構造化されたタスク仕様に解析し、操作目標と空間的制約をキャプチャする。
Verifier Agentは、フェーズ固有の実行進捗を追跡し、ターゲットバインディングエラーとローカル実行障害を区別し、介入が保証されているかどうかを決定する。
訂正エージェントは、障害タイプに応じて、許可された介入をルートして、リバインドまたはバウンドの把握または配置回復を目標とする。
論文 参考訳（メタデータ） (2026-10-20T12:21:24Z) - Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。
コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。
3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
論文 参考訳（メタデータ） (2026-10-07T17:37:19Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - Failure as a Process: An Anatomy of CLI Coding Agent Trajectories [21.513740407266354]
大規模言語モデル(LLM)コーディングエージェントは、端末ベースの環境でソフトウェアエンジニアリングタスクを自律的に実行するために、ますます多くデプロイされている。
既存の実証研究は、なぜコーディングエージェントが失敗するのかを調査するが、失敗を一時的なプロセスではなく最終的な結果として扱う。
本稿では、CLIコーディングエージェント障害軌跡に関する大規模な実証的研究を行い、プロセス指向のフレームワークを導入し、実行軌跡をまたいだ障害の開始、進化、回復を解析した。
論文 参考訳（メタデータ） (2026-07-10T15:25:56Z) - Proper Scoring Rules for Agentic Uncertainty Quantification [0.038379177968040606]
Trajectory Proper Score (TPS) は、厳密に適切なトラジェクトリレベルスコアルールの予測非依存のファミリーである。
軌道ECEは分解能が弱いが、スカラー化された軌道ブライアは崩壊したスカラーのみを付与する。
論文 参考訳（メタデータ） (2026-05-23T22:22:00Z) - ProcCtrlBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents [4.908588441456849]
ProcCtrlBenchは、LLM符号化エージェントの実行プロセス評価のベンチマークである。
4つのカテゴリで11の障害タイプをカバーする再利用可能なオントロジーに、繰り返し実行される障害を整理する。
最終結果のみではなく、標準化されたプロセスエビデンスを通じてエージェントの軌跡を評価する。
論文 参考訳（メタデータ） (2026-05-18T08:34:48Z) - Anticipatory Planning for Multimodal AI Agents [77.62643381558613]
予測推論を明示的に訓練する2段階強化学習フレームワークであるTraceR1を紹介する。
TraceR1は、オンラインコンピュータ使用、オフラインコンピュータ使用ベンチマーク、マルチモーダルツール使用推論タスクを含む、7つのベンチマークで評価されている。
以上の結果から,予測軌道推論は,複雑な実環境において効果的に推論,計画,行動が可能なマルチモーダルエージェント構築の鍵となる原理であることが示唆された。
論文 参考訳（メタデータ） (2026-03-17T16:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。