論文の概要: Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents

• arxiv url: http://arxiv.org/abs/2610.02330v1
• Date: Thu, 01 Oct 2026 18:04:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.039473
• Title: Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents
• Title（参考訳）: 行動前選択:長期ツール使用エージェントの比較値推定
• Abstract要約: 大規模言語モデル(LLM)は、複雑なタスクに対して長い水平ツールの実行シーケンスに依存している。 ロングホライゾンツールの使用では、ファイナルアウトカム報酬は、ロングインタラクショントレースよりも弱いクレジット割り当てを提供する。 有効なツール利用エージェントは、実行前に次のツールの実行の長期的価値を見積もるべきである、と我々は主張する。
• 参考スコア（独自算出の注目度）: 20.02350689422782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) rely on long-horizon tool invocation sequences for complex tasks, where each invocation can alter the task state and condition subsequent decisions. In long-horizon tool use, final-outcome rewards provide weak credit assignment over long interaction traces. Step-level rewards can offer more targeted feedback, but obtaining reliable step supervision often requires human or LLM judgment, or additional rollouts to estimate the downstream effect of an intermediate decision. In this paper, we argue that effective tool-use agents should estimate the long-horizon value of a possible next tool invocation before executing it. This objective requires comparative supervision over alternative invocations under the same context, while logged trajectories only contain the invocation that was actually taken. Therefore, we propose Comparative Inference for Tool-use Agents (CITA). CITA trains a Comparative Inference Model (CIM) from paired signals that combine observed tool behavior, scalable supervision from a Bayesian tool-graph simulator, and semantic judgments from LLM-based comparison. The resulting CIM learns to estimate how likely a possible next tool invocation is to support final task success under the current context. Across three tool-use benchmarks and multiple backbone LLMs, CITA consistently improves Tool F1 and task success. Additional analysis shows that CIM learns accurate step-level value estimates for comparative tool choices.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑なタスクに対する長い水平ツール呼び出しシーケンスに依存しており、各呼び出しはタスクの状態とその後の決定を変更できる。 ロングホライゾンツールの使用では、ファイナルアウトカム報酬は、ロングインタラクショントレースよりも弱いクレジット割り当てを提供する。 ステップレベルの報酬は、よりターゲットされたフィードバックを提供することができるが、信頼できるステップの監視を得るためには、中間決定の下流効果を見積もるために、人間またはLLMの判断または追加のロールアウトが必要になることが多い。 本稿では,有効なツール利用エージェントは,実行前に次のツールの実行の長期的価値を見積もるべきである,と論じる。 この目的には、同じコンテキスト下での代替呼び出しの比較監督が必要であるが、ログ化されたトラジェクトリには、実際に取られた呼び出しのみが含まれる。 そこで本稿では,ツール・ユース・エージェント(CITA)の比較推論を提案する。 CITAは、観測されたツール動作、ベイズツールグラフシミュレータによるスケーラブルな監視、LLMに基づくセマンティック判断を組み合わせたペア信号から比較推論モデル(CIM)を訓練する。 結果として得られたCIMは、現在の状況下での最終的なタスク成功をサポートするために、次のツールの実行の可能性の推定を学ぶ。 3つのツール使用ベンチマークと複数のバックボーンLDMで、CITAはツールF1とタスクの成功を継続的に改善している。 さらなる分析により、CIMは比較ツールの選択に対して正確なステップレベルの値推定を学習することが示された。

関連論文リスト

• ML-Tool-Bench: Tool-Augmented Planning for ML Tasks [23.54937738755734]
  ツール強化機械学習エージェントの評価のためのベンチマークを導入する。 私たちのベンチマークは、インメモリ名のオブジェクト管理を組み込むことで、従来のツール使用の評価を超えています。 我々のアプローチはReActよりも16.2%向上し、すべてのKaggle課題の中央値を取ります。
  論文  参考訳（メタデータ） (2025-11-29T23:59:40Z)
• AutoTool: Efficient Tool Selection for Large Language Model Agents [10.061664247482488]
  LLMの推論と意思決定能力を活用することで、複雑なタスクを自動化する強力なツールとして、LLM(Large Language Model)エージェントが登場した。 しかしながら、大きなボトルネックは、ツール選択の推論コストの高さにある。特に、各ステップで使用するツールを決定するために、繰り返しLLMを呼び出すReActのようなアプローチでは。 ツール使用慣性(Tool use inertia)という重要な経験的観測を生かして、繰り返しLLM推論をバイパスするグラフベースの新しいフレームワークであるAutoToolを提案する。
  論文  参考訳（メタデータ） (2025-11-18T16:41:48Z)
• PORTool: Tool-Use LLM Training with Rewarded Tree [11.154654446183455]
  本稿では,ツール利用のLLMにおいて,正しい解答を得られる様々な軌跡を探索する強化学習法を提案する。 異なる軌跡をまたいだ共有ステップは同じ報酬を受け取り、同じフォークの下の異なるステップは異なる報酬を受け取る。 実験では17のツールを使用してユーザクエリに対処し、時間に敏感なトピックと時間に変化しないトピックの両方をカバーする。
  論文  参考訳（メタデータ） (2025-10-29T23:28:53Z)
• TRAJECT-Bench:A Trajectory-Aware Benchmark for Evaluating Agentic Tool Use [74.47746287181383]
  大規模言語モデル(LLM)ベースのエージェントは、現実のタスクを完了するためのツールの使用にますます依存している。 LLMのツール使用能力を総合的に評価するためのトラジェクトリ対応ベンチマークであるTRAJECT-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-10-06T07:30:25Z)
• Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
  ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。 現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。 最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。 このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
  論文  参考訳（メタデータ） (2025-04-21T05:40:05Z)
• Learning to Use Tools via Cooperative and Interactive Agents [58.77710337157665]
  ツール学習は、外部ツールを使用してユーティリティを拡張するエージェントとして、大きな言語モデル(LLM)を促進する。 ツール選択,ツール実行,アクションキャリブレーションの3つの特別なエージェントを個別にコーディネートする,協調型対話型エージェントフレームワークであるConAgentsを提案する。 3つのデータセットに対する実験により、LLMは、ConAgentsを装備した場合、大幅に改善されたベースラインよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-05T15:08:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。