論文の概要: ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets
- arxiv url: http://arxiv.org/abs/2610.21098v1
- Date: Thu, 15 Oct 2026 01:59:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.133177
- Title: ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets
- Title（参考訳）: ToolBottleneckBench: 制御された圧力と固定されたハーネス予算下でのツールエージェント性能の測定
- Abstract要約: ToolBottleneckBenchは、制御された圧力と固定されたハーネス予算の下でツールエージェントのパフォーマンスを測定するベンチマークである。
障害記録は、割り当てられたプレッシャーを、ツールコールの回数以上に確実に識別する。
どのツールがモデルに到達するか、誰が呼び出しを発行するかを変えるのに役立つ修理は、モデルの振る舞いを改善しない2つの修理だけが、すべての設定スイッチを破ります。
- 参考スコア（独自算出の注目度）: 15.927954350843057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The success score of a tool agent reflects both its model and the budgets of the harness that runs it. We present ToolBottleneckBench, a benchmark that measures tool-agent performance under controlled pressures and fixed harness budgets. Synthetic enterprise tasks stay fixed while one pressure varies: the registered tool catalog, the visible tool menu, the certified workflow, or the encoding of returned records. An exact grader records the first unmet obligation of each failed episode and the harness limit, if any, that ended it. Across 21 model and harness configurations, the visible menu is the only one of the three pressures that act on the model with a large penalty, and this penalty tracks truncation at the completion cap. Raising the cap sixteenfold removes most of the penalty in the truncation-heavy configurations. Most failures end at a harness limit, and the failure record identifies the assigned pressure no more reliably than a count of tool calls. The repairs that help change which tools reach the model or who issues the calls, and only two repairs, neither improving model behavior, beat every configuration switch. We recommend reporting pressure effects with the harness budgets under which they were measured. We release the benchmark at https://github.com/zichuanxu/tool-bottleneck-bench.
- Abstract（参考訳）: ツールエージェントの成功スコアは、そのモデルとそれを実行するハーネスの予算の両方を反映します。
ToolBottleneckBenchは、制御された圧力と固定されたハーネス予算の下でツールエージェントのパフォーマンスを測定するベンチマークである。
登録されたツールカタログ、可視的なツールメニュー、認定されたワークフロー、返却されたレコードのエンコーディング。
正確なグリーマーは、失敗した各エピソードの最初のアンメタルの義務を記録し、もしそれが終わったとしてもハーネスの制限を記録した。
21のモデルとハーネス構成にまたがって、目に見えるメニューは、大きなペナルティでモデルに作用する3つのプレッシャーのうちの1つであり、このペナルティは完了キャップでの停止を追跡する。
キャップフォールドの上昇は、トランケーション重度構成におけるペナルティの大部分を除去する。
ほとんどの障害はハーネスの制限で終了し、障害記録は、割り当てられたプレッシャーを、ツールコールの数よりも確実に識別する。
どのツールがモデルに到達するか、誰が呼び出しを発行するかを変えるのに役立つ修理は、モデルの振る舞いを改善しない2つの修理だけが、すべての設定スイッチを破ります。
測定対象のハーネス予算による圧力効果の報告を推奨する。
ベンチマークはhttps://github.com/zichuanxu/tool-bottleneck-bench.orgで公開しています。
関連論文リスト
- Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents [76.27019209070825]
既存のベンチマークは、固定ハーネスの下で下流タスクの成功を測定し、ハーネスエンジニアリング自体が未調査のままである。
長距離ハーネス工学を直接評価する2段階ベンチマークであるDoc2Harnessを提案する。
19のフロンティアモデルでそれぞれ328のテストケースで3つの独立したビルドで評価され、GPT-6 Astraは53.05%、最も弱いモデルでは27.44%に達した。
論文 参考訳（メタデータ） (2026-10-14T15:24:39Z) - AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。
5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。
ハーネスは推論の精度を常に改善しないことがわかった。
論文 参考訳（メタデータ） (2026-10-14T14:04:48Z) - SHarP: Saliency-based Pruning of Agent Harnesses [55.076331468597594]
Agentは、モデル呼び出し、ツールの使用、タスクの実行を調整することで、大規模な言語モデルが複雑なタスクを完了するのを助ける。
結果として、いくつかのハーネスモジュールが冗長であるかどうかは不明である。
ニューラルネットワークのプルーニングにインスパイアされた我々は、タスクパフォーマンスとトークンコストのバランスを改善する手段として、ハーネスプルーニングを研究した。
論文 参考訳（メタデータ） (2026-10-03T00:41:14Z) - Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments [8.904042335790534]
34回にわたって、4つのベンチマークで変更ツールを監査し、7つのツール欠陥と1つの評価器特性をピン付きコミットで確認した。
注入された欠陥について、チェッカーは25個のフラグに偽陽性を示さず、5つの負のコントロールのうち2つにフラグを付け、最も多くを逃した。
さらに12のAgentDojoツール、6つのホールドアウトツールと、最初に監査された7つのツールによって、25のツール変更サーフェスが完了した。
論文 参考訳（メタデータ） (2026-09-29T11:50:55Z) - TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent [58.343983191487276]
時系列エージェントは、外部ツールを呼び出すことで分析的な質問に答える。
Human-Agent Tool Misalignment: 21のエキスパートキュレートされたツールのライブラリは、いくつかのタスクを支援し、他の人を傷つけます。
TimeEvoは、エージェントの診断された障害を能力ギャップに集約し、それぞれの測定を計画し、ペアの入場ゲートを通してのみ候補ライブラリを許可する。
論文 参考訳（メタデータ） (2026-09-23T03:08:12Z) - HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - The reach of a verification tool decides its value: A controlled study of verification surface, artifact quality, and cost in AI coding agents [0.0]
本研究は, エージェントが出荷するソフトウェアの品質に一致する成長をもたらすのは, 表面のみである。
条件ブラインドされた人間は、すべてのアプリケーションを凍結したアーティファクトに対してグレードし、自動プローブは、API観測可能な振る舞いをストレステストした。
論文 参考訳（メタデータ） (2026-08-28T18:59:07Z) - Fidelity Is Not Enough: Dispatch-Level Instrumentation for Agentic Datasheet Extraction [6.419341495897254]
3つのコンポーネントに対して25のハンドキュレートされたクレームのエージェントベンチマークで、すべてのツールコールをログします。
ルールベースの障害帰属分類器と、2つのルールがどのツールが呼び出されたかのみをチェックするサイレント障害検出器の2つを構築しました。
論文 参考訳（メタデータ） (2026-08-28T15:25:12Z) - Bounded Loops: Pre-Run Spend Bounds, Proved Termination, and Verified Completion for Agent Harnesses [0.0]
メインストリームのエージェントフレームワークでは、エージェントの出力が終了すると、ステップが終了する。
私たちは、ハーネスがそれを提供するかどうかを測定する機器を構築します。
ゲートは2層保持されたミュータントコーパスに対して測定される。
論文 参考訳（メタデータ） (2026-08-20T14:26:06Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - Measuring Harness-Induced Belief Divergence in Multi-Step LLM Agents [0.05371337604556311]
タスク,環境,基本LPMが固定された場合でも,ソフトウェアエージェントハーネスがエージェントのマルチステップ信念を変えることができることを示す。
我々は,K段軌道の進行,リスク,回復可能性,制約,障害モード,不確実性,今後の成功,修理コスト,代替ハーネスの下での次の行動について,構造的K段軌道を付与する信念ロールアウト診断を導入する。
論文 参考訳（メタデータ） (2026-07-05T22:22:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。