論文の概要: Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments
- arxiv url: http://arxiv.org/abs/2609.37315v1
- Date: Tue, 29 Sep 2026 11:50:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.451953
- Title: Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments
- Title（参考訳）: エージェントベンチマークは何を言うか? : ツール利用エージェント環境における実行可能契約監査
- Abstract要約: 34回にわたって、4つのベンチマークで変更ツールを監査し、7つのツール欠陥と1つの評価器特性をピン付きコミットで確認した。
注入された欠陥について、チェッカーは25個のフラグに偽陽性を示さず、5つの負のコントロールのうち2つにフラグを付け、最も多くを逃した。
さらに12のAgentDojoツール、6つのホールドアウトツールと、最初に監査された7つのツールによって、25のツール変更サーフェスが完了した。
- 参考スコア（独自算出の注目度）: 8.904042335790534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tool-using agents are entering settings where a wrong action carries real cost, and the benchmarks certifying them grade what each simulated tool call reports having done, assuming the tool did what its interface advertises. The audit taxonomies we survey publish no category for that assumption, and a defect beneath a score is present on every rerun. We treat a tool's advertised surfaces as an executable contract, check the implementation against it, and trace each score's provenance through the task files and evaluator code to the verdicts that derive from state a defective tool should have written. Across 34 audited mutating tools in four benchmarks we confirm seven tool defects and one evaluator property at pinned commits. On injected defects the checker raised no false positive in 25 flags, flagged 2 of 5 negative controls, and missed most: in 29 of 33 scored misses a clause covered the defect but no probe revealed it. The checker's own static half, run alone, flags 14 of 17 confirmed sites, so on these findings the dynamic half confirms and traces rather than discovers. Twelve further AgentDojo tools, with six held-out tools and the seven audited first, complete its 25-tool mutating surface, on which at least 5 tools diverge from their advertised surface as our contracts read it, a rate for AgentDojo alone. No gold trajectory reaches either tau2-bench defect; on 1,120 paths built to isolate the telecom defect, a number fixed by construction, the evaluator rewards a refuel of a suspended line and fails the repaired tool. The clearest case is a clinical benchmark whose tool tells the agent each write executed under a documented no-write design its interface does not disclose; its grader takes that message as evidence, so its action success rate records whether a request carried the expected payload, not whether any record changed.
- Abstract（参考訳）: ツール使用エージェントは、間違ったアクションが実際にコストを発生させるような設定に入り、そのベンチマークは、各シミュレーションツールのコールレポートが実行したことを評価し、ツールがそのインターフェースの宣伝したことをしたと仮定する。
我々が調査した監査分類は、その前提のカテゴリーを公表せず、再実行毎にスコアの下の欠陥が存在します。
ツールの広告面を実行可能な契約として扱い、それに対する実装を確認し、各スコアの証明をタスクファイルと評価器コードを通して追跡し、欠陥ツールが記述すべき状態から導出する判断に追従する。
34回にわたって、4つのベンチマークで変更ツールを監査し、7つのツール欠陥と1つの評価器特性をピン付きコミットで確認した。
インジェクトされた欠陥について、チェッカーは25個のフラグに偽陽性を示さず、5つの負のコントロールのうち2つをフラグ付けし、最も多くを逃した。
チェッカー自身の静的なハーフは、単独で実行され、17の確認されたサイトの14のフラグであり、これらの発見に基づいて、動的ハーフは発見ではなく、確認され、トレースされる。
6つのホールドアウトツールと7つの監査済みツールを備えた12のAgentDojoツールが、25ツールのミューティングサーフェスを完成させました。
テレコムの欠陥を分離するために構築された1,120のパス、建設によって固定された番号に基づいて、評価者は停止したラインの燃料を報酬し、修理されたツールを失敗する。
最も明確なケースは、そのインターフェースが公開されていない文書化されたノーライト設計の下で実行された各書き込みを実行するエージェントに通知する臨床ベンチマークである。そのグレーダは、そのメッセージを証拠として取るので、そのアクション成功率は、要求が期待されるペイロードを運んだかどうか、レコードが変更されたかどうかを記録する。
関連論文リスト
- TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent [58.343983191487276]
時系列エージェントは、外部ツールを呼び出すことで分析的な質問に答える。
Human-Agent Tool Misalignment: 21のエキスパートキュレートされたツールのライブラリは、いくつかのタスクを支援し、他の人を傷つけます。
TimeEvoは、エージェントの診断された障害を能力ギャップに集約し、それぞれの測定を計画し、ペアの入場ゲートを通してのみ候補ライブラリを許可する。
論文 参考訳（メタデータ） (2026-09-23T03:08:12Z) - Fabrication After Tool Failure: Tool-Augmented Agents Assert Values Their Tools Did Not Return [7.146717861821737]
ツール拡張言語モデルは、ツールの供給に失敗した時に正直に報告するかどうかではなく、正しい回答に達するかどうかで評価される。
16のシステムドメインと8つのツール障害タイプにまたがる1024項目のベンチマークで、この障害後の決定を分離する。
論文 参考訳（メタデータ） (2026-09-13T19:46:42Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Fidelity Is Not Enough: Dispatch-Level Instrumentation for Agentic Datasheet Extraction [6.419341495897254]
3つのコンポーネントに対して25のハンドキュレートされたクレームのエージェントベンチマークで、すべてのツールコールをログします。
ルールベースの障害帰属分類器と、2つのルールがどのツールが呼び出されたかのみをチェックするサイレント障害検出器の2つを構築しました。
論文 参考訳（メタデータ） (2026-08-28T15:25:12Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices [48.36933831982682]
我々はADEPTS機能フレームワークを基盤とした信頼性ベンチマークであるADeptS-Benchを紹介する。
Safetyストリームは、視覚インターフェースに埋め込まれた脅威を伴うペアの良心/悪意のあるタスクを提供する。
曖昧さストリームは、意図が曖昧である場合、エージェントが明確化を求めるかどうかを評価する。
論文 参考訳（メタデータ） (2026-08-25T23:21:57Z) - From Traceability to Justifiability: Accountability Structures in Agentic Software Engineering [0.0]
公開資料のみから、AIレコードがクレームを表現できるかどうか、宣言された場所を保持できるかどうかを測定する。
188個の二重グレード細胞で、デフォルトレコードが行動システムのコンテンツアイデンティティを出力するプラットフォームは見つからなかった。
計器は、パイプラインが発行した排気のみからの保証深度を計算し、宣言された深さと比較する。
論文 参考訳（メタデータ） (2026-08-21T16:45:00Z) - Outcome Monitors: Recovery Affordances for Silent Tool Failures [2.9089118242427627]
Outcome Monitorsは、タスクの不一致トレースから、あるいはパブリックスキーマから抽出された結果コントラクトの違反を検出する。
違反時に、モニタは結果を保存し、違反した資産と公衆回復ツールとを命名する非拘束レシートを発行する。
論文 参考訳（メタデータ） (2026-08-19T17:35:30Z) - Coding Agents as Test-Suite Auditors: Finding What Official Suites Miss While Approaching What They Catch [47.836680625916266]
テストスイート監査官として機能する市販のコーディングエージェントは、どちらも、公式スイートが見逃すものを公開するために、敵対的なテストスイートを構築します。
認証チェーンは、各エージェントフラッグされた申請が、公式の裁判官に頼らずに、真にバグだらけであるか否かを判定する。
Codeforceは、利用可能なオフィシャルスイートを持たない問題に対して、同じテストビルディングメソッドを使用して、テストされた入力予算毎に5つの再生ベースラインを導出する。
論文 参考訳（メタデータ） (2026-08-03T05:24:03Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Can Agent Benchmarks Support Their Scores? Evidence-Supported Bounds for Interactive-Agent Evaluation [8.049844623361725]
インタラクティブエージェントベンチマークは、結果チェックを通じてエージェントの実行をバイナリ結果にマッピングする。
これらのチェックは、表面レベル信号に依存するか、エージェントの実際のアクションパスをキャプチャできない。
既存のベンチマークに対して、結果エビデンスレポート層を導入します。
論文 参考訳（メタデータ） (2026-05-11T12:20:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。