論文の概要: TemplateRL: Structured Template-Guided Reinforcement Learning for LLM Reasoning

• arxiv url: http://arxiv.org/abs/2505.15692v3
• Date: Mon, 13 Oct 2025 07:21:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 15:48:08.623511
• Title: TemplateRL: Structured Template-Guided Reinforcement Learning for LLM Reasoning
• Title（参考訳）: TemplateRL:LLM推論のための構造化テンプレート誘導強化学習
• Authors: Jinyang Wu, Chonghua Liao, Mingkuan Feng, Shuai Zhang, Zhengqi Wen, Haoran Luo, Ling Yang, Huazhe Xu, Jianhua Tao,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は, モデル推論の強化に有効なパラダイムとして登場した。 本稿では、明示的なテンプレートガイダンスによってポリシー最適化を向上する構造化テンプレート誘導型RLフレームワークを提案する。 提案手法はまず, MCTS を用いて小さなシードセット上に問題解決テンプレートライブラリを構築し, この高レベルの構造化ガイダンスを RL トレーニングにシームレスに統合する。
• 参考スコア（独自算出の注目度）: 56.250782426571526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) has emerged as an effective paradigm for enhancing model reasoning. However, existing RL methods like GRPO often rely on unstructured self-sampling to fit scalar rewards, often producing inefficient rollouts that fail to capture transferable problem-solving strategies. To address these limitations, we propose **TemplateRL**, a structured template-guided RL framework that augments policy optimization with explicit template guidance. Our approach first constructs a problem-solving template library via MCTS on a small seed set, then seamlessly integrates this high-level structured guidance into RL training. By guiding rollout generation to align with proven template structures, TemplateRL significantly improves high-quality trajectory hit rates while reducing ineffective exploration. This structure-guided design steers the policy toward validated strategic patterns, stabilizing training dynamics, and enhancing RL sampling efficiency. Notably, the explicit template library is interpretable, editable, and supports online updates-enabling continuous updates during both training and inference. Extensive experiments demonstrate that TemplateRL outperforms GRPO by 99% on AIME and 41% on AMC, with superior stability on weak models and remarkable cross-domain generalization, highlighting its potential for broader tasks.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は, モデル推論の強化に有効なパラダイムとして登場した。 しかし、GRPOのような既存のRL法は、しばしばスカラー報酬に適合する非構造的な自己サンプリングに依存し、転送可能な問題解決戦略を捕捉できない非効率なロールアウトを生成する。 これらの制約に対処するため、*TemplateRL*は、明示的なテンプレートガイダンスでポリシー最適化を強化する構造化テンプレート誘導型RLフレームワークである。 提案手法はまず, MCTS を用いて小さなシードセット上に問題解決テンプレートライブラリを構築し, この高レベルの構造化ガイダンスを RL トレーニングにシームレスに統合する。 実証されたテンプレート構造に合わせてロールアウト生成を誘導することにより、TemplateRLは、非効率な探索を減らしながら、高品質なトラジェクトリヒット率を大幅に改善する。 この構造誘導設計は、戦略パターンの検証、トレーニングダイナミクスの安定化、RLサンプリング効率の向上に向けた政策を主導する。 特に、明示的なテンプレートライブラリは解釈可能で、編集可能であり、トレーニングと推論の両方の間、オンライン更新を起動する継続的更新をサポートする。 テンプレートRLはAIMEでは99%,AMCでは41%,弱いモデルでは優れた安定性を示し,ドメイン間の一般化が目覚ましい。

関連論文リスト

• Perception-Aware Policy Optimization for Multimodal Reasoning [79.56070395437898]
  現在のマルチモーダル推論における誤りの主な原因は、視覚入力の知覚にある。 提案するPAPOは,モデルが推論を学習しながら知覚を学習することを奨励する,新しいポリシー勾配アルゴリズムである。 知覚誤りの30.5%が有意に減少し,PAPOによる知覚能力の向上が示唆された。
  論文  参考訳（メタデータ） (2025-07-08T23:22:34Z)
• ExPO: Unlocking Hard Reasoning with Self-Explanation-Guided Reinforcement Learning [12.83211408922535]
  強化学習スタイルのポストトレーニングは、報酬や選好信号に基づいてモデル出力を最適化することで推論を改善する。 GRPOスタイルのアプローチでは、結果ベースの検証によってラベル付けされた自己生成サンプルを使用することでこれを実装している。 提案手法は, 基本的回答を条件に, 単純でモジュール化されたフレームワークである。
  論文  参考訳（メタデータ） (2025-07-03T17:44:55Z)
• Vision-EKIPL: External Knowledge-Infused Policy Learning for Visual Reasoning [17.421901873720156]
  本稿では,textbfVision-EKIPLと呼ばれる新しいRLフレームワークを提案する。 RLトレーニングプロセス中に外部補助モデルによって生成された高品質なアクションを導入し、ポリシーモデルの最適化を導く。 最先端(SOTA)と比較して、Reason-RFT-CoTベンチマークで最大5%の性能改善を実現している。
  論文  参考訳（メタデータ） (2025-06-07T16:37:46Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [82.43575191712726]
  本稿では,強化学習が推論に与える影響を明らかにするための,きめ細かい分析フレームワークを提案する。 本フレームワークは,RLトレーニングの恩恵を受けると仮定された重要な要素を具体的に調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Training Large Language Models to Reason via EM Policy Gradient [0.27195102129094995]
  LLM推論を強化するために、政治以外の強化学習アルゴリズムEM Policy Gradientを導入する。 GSM8KとMATH(HARD)データセットに対するEM Policy Gradientの有効性を評価する。 本手法で微調整したモデルでは, サブプロブレム分解, 自己検証, バックトラッキングなどの認知行動を示す。
  論文  参考訳（メタデータ） (2025-04-24T01:31:05Z)
• Effectively Controlling Reasoning Models through Thinking Intervention [41.38412282063417]
  Reasoning-enhanced large language model (LLM) は、最終回答を生成する前に、中間推論ステップを明示的に生成する。 本稿では,LLMの内部推論プロセスを明示的に導くための新しいパラダイムであるThinking Interventionを提案する。
  論文  参考訳（メタデータ） (2025-03-31T17:50:13Z)
• Enhancing LLM Reasoning with Iterative DPO: A Comprehensive Empirical Investigation [29.579349371114702]
  DPO(Direct Preference Optimization)は、大規模言語モデル(LLM)のための強化学習(RL)に代わる費用効率の良い代替手段である。 粗いフィルタ付き1ラウンドのDPOが数学的推論性能を大幅に向上させることを示す。 単純な検証可能な報奨により,計算オーバーヘッドを大幅に低減したRLレベルの性能を実現する。
  論文  参考訳（メタデータ） (2025-03-17T06:28:25Z)
• A Survey of Direct Preference Optimization [103.59317151002693]
  LLM(Large Language Models)は、前例のない生成能力を示す。 人的価値との整合性は、有用で無害なデプロイメントを保証する上で、依然として重要です。 直接優先度最適化(DPO)は、最近、合理化された代替案として注目されている。
  論文  参考訳（メタデータ） (2025-03-12T08:45:15Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• Self-Training with Direct Preference Optimization Improves Chain-of-Thought Reasoning [5.487210426671288]
  本研究では,小規模LMの推論能力が自己学習によって向上できることを実証する。 また、従来の自己学習は、直接選好最適化(Direct Preference Optimization)と呼ばれる選好学習アルゴリズムによってさらに強化できることを示す。
  論文  参考訳（メタデータ） (2024-07-25T17:59:16Z)
• Exploratory Preference Optimization: Harnessing Implicit Q*-Approximation for Sample-Efficient RLHF [82.7679132059169]
  人間のフィードバックから強化学習が言語モデルのアライメントのための中心的なツールとして登場した。 我々は、RLHFにおけるオンライン探索のための新しいアルゴリズム、Exploratory Preference Optimization (XPO)を提案する。 XPOは証明可能な最強の保証と有望な経験的パフォーマンスを享受しています。
  論文  参考訳（メタデータ） (2024-05-31T17:39:06Z)
• Model Extrapolation Expedites Alignment [135.12769233630362]
  本研究では,人選好によるアライメントトレーニングを迅速化するExPOという手法を提案する。 我々は、ExPOがトレーニングされたDPOモデルを20%のステップで強化し、完全に訓練されたモデルを上回ることを実証した。 ExPO は AlpacaEval 2.0 と MT-Bench ベンチマークにおいて,既存のオープンソース LLM を特に改善している。
  論文  参考訳（メタデータ） (2024-04-25T17:39:50Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。