論文の概要: Acting Less is Reasoning More! Teaching Model to Act Efficiently

• arxiv url: http://arxiv.org/abs/2504.14870v2
• Date: Sat, 31 May 2025 20:08:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 16:22:43.305436
• Title: Acting Less is Reasoning More! Teaching Model to Act Efficiently
• Title（参考訳）: より少ない行動はより推論する! 効果的に行動するためのモデル
• Authors: Hongru Wang, Cheng Qian, Wanjun Zhong, Xiusi Chen, Jiahao Qiu, Shijue Huang, Bowen Jin, Mengdi Wang, Kam-Fai Wong, Heng Ji,
• Abstract要約: ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。 現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。 最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。 このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
• 参考スコア（独自算出の注目度）: 87.28134636548705
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Tool-integrated reasoning (TIR) augments large language models (LLMs) with the ability to invoke external tools during long-form reasoning, such as search engines and code interpreters, to solve tasks beyond the capabilities of internal reasoning. While reinforcement learning (RL) has shown promise in training such agents, most of existing approaches typically optimize only for final correctness without considering the efficiency or necessity of external tool use. This often leads to excessive tool calling, incurring high computational costs and hindering the development of internal reasoning capabilities - a phenomenon known as \textit{cognitive offloading}. To this end, we propose Optimal Tool Call-controlled Policy Optimization (OTC-PO), a simple yet effective RL-based framework that encourages models to produce accurate answers with minimal tool calls. Our method introduces a tool-integrated reward that jointly considers answer correctness and corresponding tool use behavior of model to reach that answer. To validate the effectiveness, we introduce the metric of \textit{tool productivity}, defined as the ratio between the number of correct answers and the total number of tool calls across all test cases. This metric reflects how efficiently tool usage contributes to successful task completion, with higher values indicating smarter and more autonomous reasoning. We instantiate this framework within both Proximal Policy Optimization (PPO) and Group Relative Preference Optimization (GRPO), resulting in OTC-PPO and OTC-GRPO. Experiments with Qwen-2.5 and Qwen-Math across multiple QA benchmarks show that our approach reduces tool calls by up to 68.3\% and improves tool productivity by up to 215.4\%, while maintaining comparable answer accuracy.
• Abstract（参考訳）: ツール統合推論(TIR)は、大規模な言語モデル(LLM)を拡張し、検索エンジンやコードインタプリタなどの長期的推論中に外部ツールを呼び出すことで、内部推論の能力を超えたタスクを解決する。 強化学習(RL)はそのようなエージェントの訓練において有望であることを示す一方で、既存のアプローチの多くは、外部ツールの使用効率や必要性を考慮せずに、最終的な正当性のためにのみ最適化されている。 これはしばしば過剰なツール呼び出しをもたらし、高い計算コストを発生させ、内部推論能力("textit{cognitive offloading"として知られる現象)の開発を妨げる。 この目的のために,モデルが最小限のツールコールで正確な回答を生成できるようにするシンプルなRLベースのフレームワークであるOTC-PO(Optimal Tool Call- controlled Policy Optimization)を提案する。 本手法では,回答の正しさとそれに対応するモデルのツール利用行動を協調的に考慮したツール統合報酬を導入する。 有効性を検証するため,すべてのテストケースにおける正しい回答数とツールコールの総数との比率として定義される「textit{tool productivity}」の指標を導入する。 この指標は、ツールの使用がタスクの完了にいかに効果的に寄与するかを反映しており、より高い値はより賢く自律的な推論を示している。 我々は、このフレームワークを、PPO(Proximal Policy Optimization)とGRPO(Group Relative Preference Optimization)の両方でインスタンス化し、OTC-PPOとOCC-GRPOをもたらす。 複数のQAベンチマークを対象としたQwen-2.5とQwen-Mathの実験では、私たちのアプローチはツールコールを最大68.3\%削減し、ツールの生産性を最大215.4\%改善し、同等の回答精度を維持している。

関連論文リスト

• AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
  textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。 AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
  論文  参考訳（メタデータ） (2026-01-26T16:04:43Z)
• AutoTool: Efficient Tool Selection for Large Language Model Agents [10.061664247482488]
  LLMの推論と意思決定能力を活用することで、複雑なタスクを自動化する強力なツールとして、LLM(Large Language Model)エージェントが登場した。 しかしながら、大きなボトルネックは、ツール選択の推論コストの高さにある。特に、各ステップで使用するツールを決定するために、繰り返しLLMを呼び出すReActのようなアプローチでは。 ツール使用慣性(Tool use inertia)という重要な経験的観測を生かして、繰り返しLLM推論をバイパスするグラフベースの新しいフレームワークであるAutoToolを提案する。
  論文  参考訳（メタデータ） (2025-11-18T16:41:48Z)
• Tool-Augmented Policy Optimization: Synergizing Reasoning and Adaptive Tool Use with Reinforcement Learning [29.280386584974455]
  大規模言語モデル(LLM)の最近の進歩はテスト時間スケーリングを普及させ、モデルが最終回答を生成する前にさらなる推論トークンを生成する。 これらの手法は、数学的推論を含むベンチマークにおいて顕著な性能向上を示した。 本稿では,マルチホップ推論と適応型ツールコール機能を統合した新しい強化学習フレームワークであるツール拡張ポリシー最適化(TAPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-08T14:04:27Z)
• Toward Effective Tool-Integrated Reasoning via Self-Evolved Preference Learning [68.89572566071575]
  Tool-Integrated Reasoning (TIR)により、大きな言語モデル(LLM)は、外部ツールを統合することで、内部推論能力を改善することができる。 提案するTool-Lightは,LDMがTIRを効率的にかつ正確に実行できるようにするためのフレームワークである。 10個のデータセットの実験結果は、ツールライトの有効性を示している。
  論文  参考訳（メタデータ） (2025-09-27T12:53:37Z)
• Tool-R1: Sample-Efficient Reinforcement Learning for Agentic Tool Use [50.02614257515131]
  大規模言語モデル(LLM)は、言語理解と推論において強力な能力を示している。 本稿では,LLMの汎用的,構成的,多段階的なツール使用を可能にする強化学習フレームワークであるTool-R1を提案する。
  論文  参考訳（メタデータ） (2025-09-16T09:22:21Z)
• AutoTIR: Autonomous Tools Integrated Reasoning via Reinforcement Learning [17.086082843274003]
  大言語モデル(LLM)は、強力な大共振モデル(LRM)へと進化する Tool-Integrated Reasoning (TIR)は、外部ツールを組み込むことで、その機能をさらに拡張する。 ツールを適応的に選択する人間の能力に触発されて,強化学習フレームワークであるAutoTIRを紹介した。
  論文  参考訳（メタデータ） (2025-07-29T14:12:28Z)
• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• ToolRL: Reward is All Tool Learning Needs [54.16305891389931]
  大規模言語モデル(LLM)は、ツールの使用能力を得るために、しばしば監督された微調整(SFT)を行う。 近年の強化学習(RL)の進歩は、有望な推論と一般化能力を示している。 本稿では、RLパラダイムにおけるツール選択とアプリケーションタスクに対する報酬設計に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-04-16T21:45:32Z)
• ReTool: Reinforcement Learning for Strategic Tool Use in LLMs [27.07998056454784]
  ReToolは、ツール統合学習によるロングフォーム推論を強化する。 モデルは400のトレーニングステップで67%の精度を達成する。 注目すべきは、ReTool-32Bが72.5%の精度で設定できることだ。
  論文  参考訳（メタデータ） (2025-04-15T18:10:22Z)
• ToolACE-R: Tool Learning with Adaptive Self-Refinement [84.69651852838794]
  ツール学習により、大規模言語モデルは複雑なユーザタスクを解決するための外部ツールを活用することができる。 本稿では,ツール実行のための適応型自己調整手法であるToolACE-Rを提案する。 提案手法は,様々なサイズのベースモデルと互換性のある提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-04-02T06:38:56Z)
• Alignment for Efficient Tool Calling of Large Language Models [34.748897353548756]
  大きな言語モデル(LLM)は、外部ツールを統合することができ、知識境界を広げてタスクパフォーマンスを向上させる。 しかしながら、ツールに依存すると、パフォーマンス、スピード、コストのトレードオフが発生することが多い。 本稿では,LSMを知識境界に整合させ,ツールの実行に関するよりインテリジェントな判断を行うという課題に対処する。
  論文  参考訳（メタデータ） (2025-03-09T17:55:49Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは表現空間の高レベル認知信号をキャプチャし、ツールを呼び出すタイミングを指示する。 実験の結果,MeCoはLSMの内部認知信号を正確に検出し,ツール使用による意思決定を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)
• PTR: Precision-Driven Tool Recommendation for Large Language Models [43.53494041932615]
  大規模言語モデル(LLM)のためのPTR(Precision-driven Tool Recommendation)アプローチを提案する。 PTRは、過去のツールバンドルの利用を利用して、初期的かつ簡潔なツールセットをキャプチャし、ツールマッチングを実行することで、ツールセットを動的に調整する。 LLMのツールレコメンデーションの有効性を評価するために,新しいデータセットRecToolsとメトリクスTRACCを提案する。
  論文  参考訳（メタデータ） (2024-11-14T17:33:36Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• Large Language Models as Tool Makers [85.00361145117293]
  我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。 ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
  論文  参考訳（メタデータ） (2023-05-26T17:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。