論文の概要: Beyond Prompts: Measuring and Optimizing LLM Tool-Agent Harnesses
- arxiv url: http://arxiv.org/abs/2609.05736v1
- Date: Fri, 04 Sep 2026 21:35:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.124334
- Title: Beyond Prompts: Measuring and Optimizing LLM Tool-Agent Harnesses
- Title（参考訳）: プロンプトを超えて - LLMツールのハーネスの測定と最適化
- Abstract要約: ツールエージェントは、固定モデルを中心にランタイムハーネスを変更することで、再トレーニングなしで改善することができる。
PRISMマルチターンツールエージェントの資源結合型ハーネス選択について検討する。
- 参考スコア（独自算出の注目度）: 7.67637065080218
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM tool agents can be improved without retraining by modifying the runtime harness around a fixed model: prompts, tool interfaces, middleware, state handling, and recovery logic. We study this setting as resource-bounded harness selection for fixed-model multi-turn tool agents, with the search surface scoped to prompts and tool-boundary middleware: edits are guarded intercepts at the tool boundary, not arbitrary rewriting of agent execution logic. Our optimizer-agnostic protocol reports mean held-out lift, worst-condition lift, repeatability, logged cost diagnostics, and RelLift95(B), a conservative estimate of the held-out gain of the harness selected under budget B. We instantiate the protocol with prompt-only and prompt-plus-middleware optimizers, including PRISM, which clusters failures and routes repairs to prompt, tool-boundary middleware, or joint edit surfaces within a Pareto search. On BFCL multi-round, tau2-Retail, and tau2-Telecom, PRISM obtains mean held-out lifts of 14.2, 14.9, and 10.1 percentage points and positive empirical RelLift95 on all three benchmarks, and a component ablation attributes the margin chiefly to failure-surface routing and the edit-pattern constraint. Across optimizers, the results show that some search procedures can occasionally find large gains but still choose brittle updates, so the reliability of the chosen harness should be reported alongside average held-out lift.
- Abstract（参考訳）: LLMツールエージェントは、プロンプト、ツールインターフェース、ミドルウェア、状態ハンドリング、リカバリロジックなど、固定モデルを中心としたランタイムハーネスを変更することで、再トレーニングなしに改善することができる。
この設定を固定モデルマルチターンツールエージェントのリソースバウンド・ハーネス選択として検討し、プロンプトとツールバウンダリミドルウェアを対象とし、エージェント実行ロジックを任意に書き換えるのではなく、ツールバウンダリにおいて、編集がインターセプトされるようにする。
当社のオプティマイザ非依存プロトコルレポートは,予算Bで選択したハーネスのホールドアウト利得を保守的に推定するRelLift95(B)と,このプロトコルをPRISMを含む,プロンプトオンリーかつプロンプト+ミドルウェアオプティマイザを用いてインスタンス化し,プロンプト,ツールバウンダリーミドルウェア,あるいはパレートサーチ内の共同編集面をクラスタリングする。
BFCLマルチラウンド、tau2-Retail、tau2-Telecomでは、PRISMは3つのベンチマークで平均ホールドアウトリフト14.2、14.9、および10.1パーセンテージのRelLift95を得る。
その結果、オプティマイザ全体にわたって、検索手順によっては時折大きな利得を見出すことができるが、それでも不安定な更新を選択することが示され、選択されたハーネスの信頼性は平均的なホールドアウトリフトと共に報告されるべきである。
関連論文リスト
- AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces [61.51487329124135]
AutoSaddlerは、オフラインの学習問題として改善を活用するフレームワークである。
ミニバッチからの障害信号を使用して、ハーネスを反復的に更新する。
GAIA2, SWE-Bench Pro, Terminal-Bench 2.0 の実験により, AutoSaddler はエージェント性能を大幅に向上することが示された。
論文 参考訳（メタデータ） (2026-08-24T09:45:08Z) - RecHarness: A Bandit-Routed Agentic Harness for Self-Evolving Recommender Systems [13.996058312764534]
RecHarnessは、自動レコメンデータモデル最適化のためのBandit-Routed Agentic Harnessである。
最適化プロセスを2つのステップに分割する: 履歴検証フィードバックに従って、バンドルータが次の修正方向を選択する。
長距離探査を継続するため、RecHarnessはジャンプベース機構を使用して、局所的な編集が停滞すると構造ジャンプアームを起動する。
論文 参考訳（メタデータ） (2026-07-31T10:15:38Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents [52.531681772560724]
Supervised Fine-tuning (SFT) は主に軌道軌道上で構築されており、ツール故障後の回復のための信号はほとんど得られない。
ツール使用エージェントの反射誘導補正を学習するフレームワークであるReGRPOを紹介する。
GTAとGAIAの実験では、同じバックボーンとツールスイートの下で、ReGRPOは一貫して強力なオープンソースベースラインを上回っている。
論文 参考訳（メタデータ） (2026-06-30T09:19:38Z) - Multi-Agent Routing as Set-Valued Prediction: A WildChat Benchmark and Cost-Aware Evaluation [0.0]
ここで導入されたベンチマークには、固定された12エージェントカタログに3000のプロンプトが含まれている。
評価プロトコルは、設定レベルメトリクス(Precision, Recall, F1, Jaccard, Exact Match)、レイテンシ、実行指向の能力被覆シミュレーション、制約付き重み付け設定を組み合わせる。
論文 参考訳（メタデータ） (2026-06-27T13:59:46Z) - ToolRec: Calibrated Preference Alignment for Query Recommendation in On-Device Assistants [9.875012525177285]
デバイス上でのクエリレコメンデーションに適したリテラルアライメントフレームワークであるToolRecを提案する。
我々はまず,708のシステムツールの包括的なリポジトリであるSysToolKitを,コンテキスト認識ツール検索機構と組み合わせて構築した。
次に、生クリックデータを洗練し、ユーザの行動ノイズを効果的に軽減する2レベルキャリブレーション機構を提案する。
論文 参考訳（メタデータ） (2026-06-07T06:06:38Z) - TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。
本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
論文 参考訳（メタデータ） (2026-06-04T07:15:43Z) - Controllable and Verifiable Tool-Use Data Synthesis for Agentic Reinforcement Learning [82.89535601592739]
マルチレベル検証を用いた自己進化型合成により,信頼性の高い基本ツール利用軌跡を生成する2段階パイプラインを提案する。
これらの拡張は、トラクタツール、間接的または曖昧なユーザクエリ、ノイズ、マルチフォーマット、あるいは誤ったツール出力を導入します。
本設計では,標準事例に対する参照マッチングによる報酬の自動計算と,エラー検出などの特別な動作に対する軽量な判断支援検証を実現する。
論文 参考訳（メタデータ） (2026-04-10T18:38:52Z) - A$^2$FM: An Adaptive Agent Foundation Model for Tool-Aware Hybrid Reasoning [40.6234318894435]
大規模言語モデルは、推論中心のLLMとエージェントのLLMの2つのファミリーに分けられた。
この分割は、基本的に異なるトレーニング目標から生じ、単純なクエリに対して不一致の強度と非効率をもたらす。
本稿では,アダプティブ・エージェント・ファンデーション・モデル (A$2$FM) を提案する。
論文 参考訳（メタデータ） (2025-10-13T17:08:25Z) - RAG-MCP: Mitigating Prompt Bloat in LLM Tool Selection via Retrieval-Augmented Generation [0.0]
大規模言語モデル(LLM)は、MCP(Model Context Protocol)citeIntroducingMCP(リンク)など、多くの外部ツールを効果的に活用するために苦労している。
RAG-MCPは、ツール発見をオフロードすることで、この課題を克服するRetrieval-Augmented Generationフレームワークである。
論文 参考訳（メタデータ） (2025-05-06T08:05:35Z) - Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。
現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。
最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。
このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
論文 参考訳（メタデータ） (2025-04-21T05:40:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。