論文の概要: Implicit Hierarchical GRPO: Decoupling Tool Invocation from Execution for Tool-Integrated Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2605.18500v1
• Date: Mon, 18 May 2026 14:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.80746
• Title: Implicit Hierarchical GRPO: Decoupling Tool Invocation from Execution for Tool-Integrated Mathematical Reasoning
• Title（参考訳）: Inlicit Hierarchical GRPO:Decoupling Tool Invocation from Execution for Tool-Integrated Mathematical Reasoning
• Authors: Li Wang, Xiaohan Wang, Xiaodong Lu, Zipeng Zhang, Jinyang Wu, Jiajun Chai, Wei Lin, Guojun Yin,
• Abstract要約: 大規模言語モデル(LLM)は、推論能力を高めるためにツール呼び出しをますます活用している。 既存のアプローチは通常、即時実行でツール呼び出しを密に結合する。 推論中の実行からツール呼び出しを分離する問題を提案し,定式化する。 ツール統合推論を強化するために,明示的な制御による遅延実行を導入する。
• 参考スコア（独自算出の注目度）: 46.780956212954486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have increasingly leveraged tool invocation to enhance their reasoning capabilities. However, existing approaches typically tightly couple tool invocation with immediate execution. Such immediate tool interaction may disrupt the reasoning coherence of LLMs and constrain their expressivity, ultimately degrading reasoning performance. To this end, for the first time, we propose and formalize the problem of decoupling tool invocation from execution during reasoning, and introduce delayed execution with explicit control to enhance tool-integrated reasoning (TIR). Furthermore, we propose a hierarchical control framework and theoretically derive a surrogate loss that enables an implicitly hierarchical policy to learn behavior equivalent to that of an explicit hierarchical policy, leading to the proposed IH-GRPO algorithm. Extensive experiments on IH-GRPO achieve absolute improvements of 1.87\%, 2.16\%, and 2.53\% on Qwen3-1.7B, Qwen3-4B, and Qwen3-8B across six out-of-domain mathematical reasoning benchmarks over the strongest baseline method, while also yielding consistent performance gains in other domains. Our code is available at https://github.com/Lumina04/IH-GRPO-01.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論能力を高めるためにツール呼び出しをますます活用している。 しかし、既存のアプローチは通常、即時実行でツール呼び出しを密に結合する。 このような即時的なツール相互作用は、LCMの推論コヒーレンスを阻害し、その表現性を制限し、最終的には推論性能を低下させる。 この目的のために、我々は初めて、推論中の実行からツール呼び出しを分離する問題を提案し、ツール統合推論(TIR)を強化するために、明示的な制御で遅延実行を導入する。 さらに、階層的な制御フレームワークを提案し、理論上は、暗黙的に階層的なポリシーが明示的な階層的なポリシーと同等の振る舞いを学習できるようにするサロゲート損失を導出し、IH-GRPOアルゴリズムが提案される。 IH-GRPOの広範な実験は、最強のベースライン法上での6つの非領域数学的推論ベンチマークにおいて、Qwen3-1.7B、Qwen3-4B、Qwen3-8Bにおける1.87\%、2.16\%、および2.53\%の絶対的な改善を達成するとともに、他の領域における一貫した性能向上をもたらす。 私たちのコードはhttps://github.com/Lumina04/IH-GRPO-01で公開されています。

関連論文リスト

• Are Tools All We Need? Unveiling the Tool-Use Tax in LLM Agents [16.379755833783406]
  セマンティック・トラクタの存在下では,ツール拡張推論は必ずしもネイティブなCoTよりも優れているとは限らない。 セマンティックノイズの下では、ツールの利得が「ツール使用税」を相殺するのに失敗することが多い。 本稿では,プロトコルによるエラーを緩和する軽量な推論時ゲートであるG-STEPを紹介する。
  論文  参考訳（メタデータ） (2026-04-30T18:46:01Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• Reasoning and Tool-use Compete in Agentic RL:From Quantifying Interference to Disentangled Tuning [26.401906729658688]
  Agentic Reinforcement Learning (ARL) は、複雑なタスクを解決するために、推論と外部ツールの実行をインターリーブするために、大きな言語モデルをトレーニングすることに焦点を当てている。 ほとんどの既存のARLメソッドは、推論とツールの使用行動の両方をサポートするために単一の共有モデルパラメータをトレーニングしている。 これらの2つの能力は、しばしば不整合勾配方向を誘導し、共同最適化の有効性を損なう訓練の干渉を引き起こす。 DART(Disentangled Action Reasoning Tuning)は、推論のためのパラメータ更新とツール使用を分離したローランクで明示的に分離する、シンプルで効率的なフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T03:19:22Z)
• Sponge Tool Attack: Stealthy Denial-of-Efficiency against Tool-Augmented Agentic Reasoning [58.432996881401415]
  最近の作業では、エージェント推論を可能にするために、外部ツールで大きな言語モデル(LLM)を拡張している。 本稿では,入力プロンプトを書き換えることのみでエージェント推論を妨害するスポンジツールアタック(STA)を提案する。 STAは、意味的忠実度の高い原文からの良心的な即興的な書き直しを生成する。
  論文  参考訳（メタデータ） (2026-01-24T19:36:51Z)
• THOR: Tool-Integrated Hierarchical Optimization via RL for Mathematical Reasoning [25.605096023894834]
  大規模言語モデル (LLM) は数学的推論において顕著な進歩を遂げた。 最近の進歩にもかかわらず、既存の手法は3つの重要な課題に直面している。 我々はこれらの制限を克服するためにTHOR(Tool-Integrated Hierarchical Optimization via RL)を提案する。 提案手法は多種多様なモデルに対して強い一般化を示し,推論モデルと非推論モデルの両方で効果的に機能する。
  論文  参考訳（メタデータ） (2025-09-17T07:16:12Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
  ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。 現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。 最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。 このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
  論文  参考訳（メタデータ） (2025-04-21T05:40:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。