論文の概要: Tool-Aware Optimization with Entropy Guidance for Efficient Agentic Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2606.03762v1
- Date: Tue, 02 Jun 2026 15:16:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.097989
- Title: Tool-Aware Optimization with Entropy Guidance for Efficient Agentic Reinforcement Learning
- Title（参考訳）: 効率的なエージェント強化学習のためのエントロピー誘導型ツールアウェア最適化
- Authors: Hongye Cao, Nuo Yan, Haoyuan Deng, Ziwei Wang, Tianpei Yang, Jing Huo, Yuyao Zhang, Yang Gao,
- Abstract要約: 本稿では,ツール対応トラジェクトリフィルタとエントロピー誘導探索を併用したTAO-RLを提案する。
具体的には、TAO-RLはロールアウトトラジェクトリを2つの基準に沿ってフィルタリングする。
アルゴリズムレベルでは、ツール対応のエントロピー誘導ボーナスを導入し、ポストツールコールトークンのアドバンテージ機能を再評価し、より多様な推論経路を探索するようポリシーを奨励する。
- 参考スコア（独自算出の注目度）: 33.576201769173224
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic reinforcement learning (RL) equips large language models (LLMs) with tool-use capabilities that substantially improve reasoning on complex tasks. However, integrating external tools often destabilizes training: over-reliance on tools can induce input distribution shift, while overly conservative tool use limits effective exploration. To address this issue, we propose a unified framework TAO-RL that couples tool-aware trajectory filtering with entropy-guided exploration for efficient policy optimization. Specifically, at the data level, TAO-RL filters rollout trajectories along two criteria: discarding those where all tool invocations fail to execute, and removing those where all rollouts are either correct or incorrect, as both cases yield degenerate advantage estimates that contribute no discriminative learning signal. This joint filtering retains data that are both tool-capable and informative, establishing a high-quality training distribution. At the algorithmic level, we introduce a tool-aware entropy-guided bonus that reshapes the advantage function at post-tool-call tokens, encouraging the policy to explore more diverse reasoning paths at critical decision points. These two components are mutually reinforcing: trajectory filtering establishes a clean and informative training foundation, while entropy-guided exploration drives stronger reasoning behaviors at critical tool-interaction junctures. Extensive experiments on 7 challenging reasoning benchmarks across 3 model scales demonstrate the superiority of TAO-RL over existing methods.
- Abstract（参考訳）: エージェント強化学習(RL)は、複雑なタスクの推論を大幅に改善するツール使用能力を備えた大規模言語モデル(LLM)を備える。
しかし、外部ツールの統合はトレーニングを不安定にすることが多く、ツールへの過度依存は入力の分散シフトを誘発し、過度に保守的なツールの使用は効果的な探索を制限する。
この問題に対処するため,ツール対応トラジェクトリフィルタとエントロピー誘導探索を併用したTAO-RLを提案する。
具体的には、データレベルでは、TAO-RLはロールアウトトラジェクトリを、2つの基準に沿ってフィルタリングする。
この共同フィルタリングは、ツールと情報の両方が可能なデータを保持し、高品質なトレーニング分布を確立する。
アルゴリズムレベルでは、ツール対応のエントロピー誘導ボーナスを導入し、ポストツールコールトークンのアドバンテージ機能を再評価し、重要な決定ポイントにおいてより多様な推論経路を探索するようポリシーを奨励する。
これら2つのコンポーネントは相互に強化されている: 軌跡フィルタリングはクリーンで情報的なトレーニング基盤を確立し、一方エントロピー誘導探索は、重要なツールと相互作用の分岐においてより強力な推論行動を促進する。
3つのモデルスケールにわたる7つの挑戦的推論ベンチマークに関する大規模な実験は、既存の方法よりもTAO-RLの方が優れていることを示した。
関連論文リスト
- On Effectiveness and Efficiency of Agentic Tool-calling and RL Training [33.47538664943472]
本稿では,2つの相補的軸に沿ったツールコールについて検討する。
結果が、小さく、しばしば文書化されていない実装選択に非常に敏感であることを示します。
本稿では,RLベースのツールコール訓練を加速し,性能を低下させることなくウォールクロックの大幅な高速化を実現する2つの手法を提案する。
論文 参考訳（メタデータ） (2026-05-28T22:21:47Z) - Efficient Agentic Reinforcement Learning with On-Policy Intrinsic Knowledge Boundary Enhancement [16.192937389387982]
モデル固有の知識境界を動的に探索するオンライン手法であるAKBE(Agentic Knowledge boundary Enhancement)を提案する。
7つのQAベンチマークの実験では、AKBEはタスクの精度を平均で+1.85改善し、標準のエージェントRLよりも18%向上した。
論文 参考訳（メタデータ） (2026-05-26T12:42:23Z) - TInR: Exploring Tool-Internalized Reasoning in Large Language Models [31.2602361688688]
Tool-Internalized Reasoning (TInR)は、統合推論とツール使用のためのツール内部推論フレームワークである。
1)双方向の知識アライメント戦略によるツール内化,2)高品質な推論アノテーションを用いた微調整ウォームアップ,3)TInR固有の報酬を用いた強化学習,である。
実験結果から,TInR-Uは両設定において優れた性能を示し,その有効性と効率を強調した。
論文 参考訳（メタデータ） (2026-04-12T19:38:19Z) - Reasoning and Tool-use Compete in Agentic RL:From Quantifying Interference to Disentangled Tuning [26.401906729658688]
Agentic Reinforcement Learning (ARL) は、複雑なタスクを解決するために、推論と外部ツールの実行をインターリーブするために、大きな言語モデルをトレーニングすることに焦点を当てている。
ほとんどの既存のARLメソッドは、推論とツールの使用行動の両方をサポートするために単一の共有モデルパラメータをトレーニングしている。
これらの2つの能力は、しばしば不整合勾配方向を誘導し、共同最適化の有効性を損なう訓練の干渉を引き起こす。
DART(Disentangled Action Reasoning Tuning)は、推論のためのパラメータ更新とツール使用を分離したローランクで明示的に分離する、シンプルで効率的なフレームワークである。
論文 参考訳（メタデータ） (2026-02-01T03:19:22Z) - Demystifying Reinforcement Learning in Agentic Reasoning [90.3737088727791]
エージェント推論における強化学習のデミスティフィケーションのための包括的かつ体系的な調査を行う。
i) 縫合された合成軌道を、実際のエンドツーエンドのツール・ツー・ユース・トラジェクトリに置き換えることで、より強力なSFTが得られる。
探索フレンドリーな技術は、高いクリップ、過剰な報酬形成、適切なポリシーエントロピーの維持といったエージェントRLにとって不可欠であり、訓練効率を向上させることができる。
論文 参考訳（メタデータ） (2025-10-13T17:57:15Z) - Toward Effective Tool-Integrated Reasoning via Self-Evolved Preference Learning [68.89572566071575]
Tool-Integrated Reasoning (TIR)により、大きな言語モデル(LLM)は、外部ツールを統合することで、内部推論能力を改善することができる。
提案するTool-Lightは,LDMがTIRを効率的にかつ正確に実行できるようにするためのフレームワークである。
10個のデータセットの実験結果は、ツールライトの有効性を示している。
論文 参考訳（メタデータ） (2025-09-27T12:53:37Z) - Agentic Reinforced Policy Optimization [66.96989268893932]
検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。
現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。
エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
論文 参考訳（メタデータ） (2025-07-26T07:53:11Z) - Tool-Star: Empowering LLM-Brained Multi-Tool Reasoner via Reinforcement Learning [63.31585771716123]
大言語モデル(LLM)は、大規模強化学習(RL)を通じて顕著な推論能力を示した。
ステップワイズ推論中に複数の外部ツールを自律的に呼び出すLLベースのフレームワークであるTool-Starを紹介する。
Tool-Starは6種類のツールを統合し、データ合成とトレーニングの両方に体系的な設計を取り入れている。
論文 参考訳（メタデータ） (2025-05-22T09:00:19Z) - Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。
現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。
最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。
このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
論文 参考訳（メタデータ） (2025-04-21T05:40:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。