論文の概要: THOR: Tool-Integrated Hierarchical Optimization via RL for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2509.13761v2
• Date: Fri, 03 Oct 2025 12:48:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:51.980412
• Title: THOR: Tool-Integrated Hierarchical Optimization via RL for Mathematical Reasoning
• Title（参考訳）: THOR:数理推論のためのRLによるツール付き階層最適化
• Authors: Qikai Chang, Zhenrong Zhang, Pengfei Hu, Jun Du, Jiefeng Ma, Yicheng Pan, Jianshu Zhang, Quan Liu, Jianqing Gao,
• Abstract要約: 大規模言語モデル (LLM) は数学的推論において顕著な進歩を遂げた。 最近の進歩にもかかわらず、既存の手法は3つの重要な課題に直面している。 我々はこれらの制限を克服するためにTHOR(Tool-Integrated Hierarchical Optimization via RL)を提案する。 提案手法は多種多様なモデルに対して強い一般化を示し,推論モデルと非推論モデルの両方で効果的に機能する。
• 参考スコア（独自算出の注目度）: 25.605096023894834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have made remarkable progress in mathematical reasoning, but still continue to struggle with high-precision tasks like numerical computation and formal symbolic manipulation. Integrating external tools has emerged as a promising approach to bridge this gap. Despite recent advances, existing methods struggle with three key challenges: constructing tool-integrated reasoning data, performing fine-grained optimization, and enhancing inference. To overcome these limitations, we propose THOR (Tool-Integrated Hierarchical Optimization via RL). First, we introduce TIRGen, a multi-agent actor-critic-based pipeline for constructing high-quality datasets of tool-integrated reasoning paths, aligning with the policy and generalizing well across diverse models. Second, to perform fine-grained hierarchical optimization, we introduce an RL strategy that jointly optimizes for both episode-level problem solving and step-level code generation. This is motivated by our key insight that the success of an intermediate tool call is a strong predictor of the final answer's correctness. Finally, THOR incorporates a self-correction mechanism that leverages immediate tool feedback to dynamically revise erroneous reasoning paths during inference. Our approach demonstrates strong generalization across diverse models, performing effectively in both reasoning and non-reasoning models. It further achieves state-of-the-art performance for models of a similar scale on multiple mathematical benchmarks, while also delivering consistent improvements on code benchmarks. Our code will be publicly available at https://github.com/JingMog/THOR.
• Abstract（参考訳）: 大規模言語モデル(LLM)は数学的推論において顕著な進歩を遂げてきたが、数値計算や形式的記号操作のような高精度なタスクに苦戦し続けている。 外部ツールの統合は、このギャップを埋めるための有望なアプローチとして現れました。 近年の進歩にもかかわらず、既存の手法では、ツール統合推論データの構築、きめ細かい最適化の実行、推論の強化という3つの大きな課題に直面している。 これらの制限を克服するため,THOR (Tool-Integrated Hierarchical Optimization via RL)を提案する。 まず、ツール統合推論パスの高品質なデータセットを構築し、ポリシーと整合し、多様なモデルにまたがって適切に一般化するための、マルチエージェントアクタ批判ベースのパイプラインであるTIRGenを紹介する。 第二に、細粒度階層最適化を実現するために、エピソードレベルの問題解決とステップレベルのコード生成を共同で最適化するRL戦略を導入する。 これは、中間的なツールコールの成功が最終回答の正しさの強い予測要因であるという私たちの重要な洞察に動機付けられています。 最後に、THORは、即時ツールフィードバックを利用して推論中に誤った推論経路を動的に修正する自己補正機構を組み込んでいる。 提案手法は多種多様なモデルに対して強い一般化を示し,推論モデルと非推論モデルの両方で効果的に機能する。 さらに、複数の数学的ベンチマークで同様のスケールのモデルの最先端のパフォーマンスを達成し、コードベンチマークで一貫した改善を提供する。 私たちのコードはhttps://github.com/JingMog/THOR.comで公開されます。

関連論文リスト

• AgentMath: Empowering Mathematical Reasoning for Large Language Models via Tool-Augmented Agent [80.83250816918861]
  o3やDeepSeek-R1のようなLarge Reasoning Models (LRM)は、長いチェーン・オブ・シークレットを持つ自然言語推論において顕著な進歩を遂げている。 しかし、計算的に非効率であり、複雑な数学的操作を必要とする問題を解く際には精度に苦しむ。 本稿では,言語モデルの推論能力とコードインタプリタの計算精度をシームレスに統合するエージェントフレームワークであるAgentMathを紹介する。
  論文  参考訳（メタデータ） (2025-12-23T19:57:49Z)
• MMaDA-Parallel: Multimodal Large Diffusion Language Models for Thinking-Aware Editing and Generation [86.82285754460491]
  テキストと画像の出力モダリティの両方を評価するための新しいベンチマークを提案する。 この性能劣化は、生成した推論と最終画像との整合性に強く相関する。 本稿では,テキストと画像間の双方向の連続的相互作用を可能にする並列多モード拡散フレームワークMMaDA-Parallelを提案する。
  論文  参考訳（メタデータ） (2025-11-12T18:58:21Z)
• ToolMind Technical Report: A Large-Scale, Reasoning-Enhanced Tool-Use Dataset [43.45582911794623]
  我々は,160kの合成データインスタンスを備えた高品質なツールエージェントデータセットであるToolMindを紹介した。 我々は, 高精度なターンレベルのフィルタリングを用いて, 誤りや不適切なステップを除去する。 ToolMindで微調整されたモデルは、いくつかのベンチマークでベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-11-12T13:01:23Z)
• Tool-Augmented Policy Optimization: Synergizing Reasoning and Adaptive Tool Use with Reinforcement Learning [29.280386584974455]
  大規模言語モデル(LLM)の最近の進歩はテスト時間スケーリングを普及させ、モデルが最終回答を生成する前にさらなる推論トークンを生成する。 これらの手法は、数学的推論を含むベンチマークにおいて顕著な性能向上を示した。 本稿では,マルチホップ推論と適応型ツールコール機能を統合した新しい強化学習フレームワークであるツール拡張ポリシー最適化(TAPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-08T14:04:27Z)
• Acting Less is Reasoning More! Teaching Model to Act Efficiently [87.28134636548705]
  ツール統合推論は、タスクを解決するために外部ツールを呼び出す機能によって、大きな言語モデルを拡張します。 現在のアプローチは、外部ツールの使用効率や必要性を考慮せずに、最終的な正確性のためにのみ最適化されている。 最小限のツールコールで正確な回答をモデルに提示するフレームワークを提案する。 このアプローチでは,ツールコールを最大68.3%削減し,ツールの生産性を最大215.4%向上すると同時に,同等の回答精度を維持している。
  論文  参考訳（メタデータ） (2025-04-21T05:40:05Z)
• DARS: Dynamic Action Re-Sampling to Enhance Coding Agent Performance by Adaptive Tree Traversal [55.13854171147104]
  大規模言語モデル(LLM)は、自然言語処理、データ分析、ソフトウェア開発など、さまざまな領域に革命をもたらした。 符号化エージェントのための新しい推論時間計算スケーリングアプローチである動的アクション再サンプリング(DARS)を提案する。 我々は、SWE-Bench Liteベンチマークに対する我々のアプローチを評価し、このスケーリング戦略がClude 3.5 Sonnet V2で55%のパス@kスコアを達成したことを実証した。
  論文  参考訳（メタデータ） (2025-03-18T14:02:59Z)
• iTool: Reinforced Fine-Tuning with Dynamic Deficiency Calibration for Advanced Tool Use [56.31110409360567]
  大規模な言語モデルを外部ツールで拡張することは、その機能を強化するための有望なアプローチである。 その結果, 合成データの増加に伴い, トレーニングは著しく低下することがわかった。 我々は,この制限を緩和するために,反復的に強化された微調整戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-15T04:52:34Z)
• Optimizing Chain-of-Thought Reasoning: Tackling Arranging Bottleneck via Plan Augmentation [34.042565099565934]
  そこで本研究では,抽象的な計画を通じてモデルを整理し,構成ステップを生成するための計画ベーストレーニングと推論手法を提案する。 その結果,CoTデータを直接微調整した場合と比較して,ボトルネックの緩和に優れた性能が得られた。
  論文  参考訳（メタデータ） (2024-10-22T08:38:50Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。