論文の概要: OTC: Optimal Tool Calls via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2504.14870v1
• Date: Mon, 21 Apr 2025 05:40:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 19:27:16.800263
• Title: OTC: Optimal Tool Calls via Reinforcement Learning
• Title（参考訳）: OTC:強化学習による最適なツールコール
• Authors: Hongru Wang, Cheng Qian, Wanjun Zhong, Xiusi Chen, Jiahao Qiu, Shijue Huang, Bowen Jin, Mengdi Wang, Kam-Fai Wong, Heng Ji,
• Abstract要約: ツール統合報酬は,正しさとツール効率を共同で考慮し,高いツール生産性を向上する。 このアプローチでは,ツールコールを最大73.1%削減し,ツールの生産性を最大229.4%向上すると同時に,同等の回答精度を維持している。
• 参考スコア（独自算出の注目度）: 87.28134636548705
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Tool-integrated reasoning (TIR) augments large language models (LLMs) with the ability to invoke external tools, such as search engines and code interpreters, to solve tasks beyond the capabilities of language-only reasoning. While reinforcement learning (RL) has shown promise in improving TIR by optimizing final answer correctness, existing approaches often overlook the efficiency and cost associated with tool usage. This can lead to suboptimal behavior, including excessive tool calls that increase computational and financial overhead, or insufficient tool use that compromises answer quality. In this work, we propose Optimal Tool Call-controlled Policy Optimization (OTC-PO), a simple yet effective RL-based framework that encourages models to produce accurate answers with minimal tool calls. Our method introduces a tool-integrated reward that jointly considers correctness and tool efficiency, promoting high tool productivity. We instantiate this framework within both Proximal Policy Optimization (PPO) and Group Relative Preference Optimization (GRPO), resulting in OTC-PPO and OTC-GRPO. Experiments with Qwen-2.5 and Qwen-Math across multiple QA benchmarks show that our approach reduces tool calls by up to 73.1\% and improves tool productivity by up to 229.4\%, while maintaining comparable answer accuracy. To the best of our knowledge, this is the first RL-based framework that explicitly optimizes tool-use efficiency in TIR.
• Abstract（参考訳）: ツール統合推論(TIR)は、大規模な言語モデル(LLM)を拡張し、検索エンジンやコードインタプリタなどの外部ツールを呼び出すことで、言語のみの推論能力を超えたタスクを解決する。 強化学習(RL)は最終回答の正しさを最適化することでTIRを改善することを約束しているが、既存の手法はツールの使用に伴う効率とコストを無視することが多い。 これには、計算と財務のオーバーヘッドを増大させる過剰なツールコールや、品質を損なうツールの使用などが含まれる。 本稿では,ツールコールを最小限に抑えた正確な回答をモデルに提示するシンプルなRLベースのフレームワークである,最適ツールコール制御ポリシー最適化(OTC-PO)を提案する。 本手法では,正しさとツール効率を共同で考慮し,高いツール生産性を向上するツール統合報酬を導入する。 我々は、このフレームワークを、PPO(Proximal Policy Optimization)とGRPO(Group Relative Preference Optimization)の両方でインスタンス化し、OTC-PPOとOCC-GRPOをもたらす。 複数のQAベンチマークを対象としたQwen-2.5とQwen-Mathの実験では、我々のアプローチはツールコールを最大73.1\%削減し、ツールの生産性を最大229.4\%改善し、同等の回答精度を維持している。 我々の知る限りでは、このフレームワークはTIRにおけるツール使用効率を明示的に最適化する最初のRLベースのフレームワークです。

関連論文リスト

• ToolRL: Reward is All Tool Learning Needs [54.16305891389931]
  大規模言語モデル(LLM)は、ツールの使用能力を得るために、しばしば監督された微調整(SFT)を行う。 近年の強化学習(RL)の進歩は、有望な推論と一般化能力を示している。 本稿では、RLパラダイムにおけるツール選択とアプリケーションタスクに対する報酬設計に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-04-16T21:45:32Z)
• ToolACE-R: Tool Learning with Adaptive Self-Refinement [84.69651852838794]
  ツール学習により、大規模言語モデルは複雑なユーザタスクを解決するための外部ツールを活用することができる。 本稿では,ツール実行のための適応型自己調整手法であるToolACE-Rを提案する。 提案手法は,様々なサイズのベースモデルと互換性のある提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-04-02T06:38:56Z)
• Alignment for Efficient Tool Calling of Large Language Models [34.748897353548756]
  大きな言語モデル(LLM)は、外部ツールを統合することができ、知識境界を広げてタスクパフォーマンスを向上させる。 しかしながら、ツールに依存すると、パフォーマンス、スピード、コストのトレードオフが発生することが多い。 本稿では,LSMを知識境界に整合させ,ツールの実行に関するよりインテリジェントな判断を行うという課題に対処する。
  論文  参考訳（メタデータ） (2025-03-09T17:55:49Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。 実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• PTR: Precision-Driven Tool Recommendation for Large Language Models [43.53494041932615]
  大規模言語モデル(LLM)のためのPTR(Precision-driven Tool Recommendation)アプローチを提案する。 PTRは、過去のツールバンドルの利用を利用して、初期的かつ簡潔なツールセットをキャプチャし、ツールマッチングを実行することで、ツールセットを動的に調整する。 LLMのツールレコメンデーションの有効性を評価するために,新しいデータセットRecToolsとメトリクスTRACCを提案する。
  論文  参考訳（メタデータ） (2024-11-14T17:33:36Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。