論文の概要: Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding

• arxiv url: http://arxiv.org/abs/2610.07342v1
• Date: Mon, 05 Oct 2026 20:15:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.644488
• Title: Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding
• Title（参考訳）: Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding
• Abstract要約: オンライン強化学習は、大規模言語モデルの推論能力を向上させるための中心的なパラダイムとなっている。 既存のアプローチは、政治外のデモ、専門家のトレース、モデル生成ソリューションを取り入れることで、この問題を軽減する。 本稿では,Rationale-Guided Policy Optimization (RGPO)を紹介した。
• 参考スコア（独自算出の注目度）: 33.075387337859276
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: On-policy reinforcement learning has become a central paradigm for improving the reasoning abilities of large language models. However, its effectiveness is often limited by reward sparsity: when a model fails to discover correct trajectories for difficult problems, the optimization process receives little useful signal and may stagnate. Existing approaches mitigate this issue by incorporating off-policy demonstrations, expert traces, or model-generated solutions, but they typically require the auxiliary data to match the format of the reinforcement-learning task, often relying on rejection sampling from stronger models to obtain suitable training trajectories. We introduce Rationale-Guided Policy Optimization (RGPO), a framework that adaptively leverages ground-truth rationale information according to the model's current capability while preserving its freedom to explore. Rather than treating reference solutions as fixed imitation targets, RGPO uses them as temporary scaffolds: rationales help the model generate improved responses, after which only higher-reward, model-generated solutions are transferred back to the original unguided setting. This design allows training to exploit available ground-truth information without requiring off-policy data to follow the same format as the RL task. Across both language-only and vision-language reasoning settings, RGPO consistently improves performance over RLVR baselines, and ablation studies show that adaptive rationale guidance is a key contributor to these gains. These results suggest that RGPO offers a practical and general approach for reducing reward sparsity, stabilizing reinforcement learning, and improving reasoning performance in both text-only and multimodal models.
• Abstract（参考訳）: オンライン強化学習は、大規模言語モデルの推論能力を向上させるための中心的なパラダイムとなっている。 しかし、その効果は報酬の幅によって制限されることが多く、モデルが困難な問題に対して正しい軌道を見つけられなかった場合、最適化プロセスはほとんど有用な信号を受け取れず、停滞する可能性がある。 既存のアプローチでは、政治外のデモ、専門家のトレース、あるいはモデル生成ソリューションを導入することでこの問題を軽減するが、一般的には強化学習タスクの形式に合わせて補助的なデータを必要とする。 本稿では,Rationale-Guided Policy Optimization (RGPO)について紹介する。 RGPOは、参照ソリューションを固定された模倣ターゲットとして扱うのではなく、一時的な足場として使用します。 この設計により、RLタスクと同じフォーマットに従うために、政治外のデータを必要とせずに、利用可能な地平情報を利用することができる。 RGPOは、言語のみの推論設定と視覚言語による推論設定の両方で、RLVRベースラインよりも一貫してパフォーマンスを改善しており、アブレーション研究は、適応的合理化誘導がこれらの利得に重要な貢献であることを示している。 これらの結果から,RGPOは,報酬の分散化,強化学習の安定化,テキスト限定モデルとマルチモーダルモデルの両方における推論性能の向上など,実用的で汎用的なアプローチを提供する可能性が示唆された。

関連論文リスト

• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• A Graph Foundation Model for Wireless Resource Allocation [37.503398874234094]
  本稿では、事前学習および微調整のパラダイムに基づく資源配分のためのグラフ基盤モデルを提案し、統一表現を抽出する。 具体的には、干渉トポロジをグローバルアテンション機構に注入するバイアスプロジェクタを備えた干渉対応トランスフォーマーアーキテクチャを提案する。 実験により,提案するフレームワークは,モデルキャパシティを向上して,最先端のパフォーマンスを実現し,効果的にスケールできることが示されている。
  論文  参考訳（メタデータ） (2026-04-08T06:07:28Z)
• Native Reasoning Models: Training Language Models to Reason on Unverifiable Data [16.065264121785294]
  NRT(Native Reasoning Training)は、複雑な推論を育む新しいフレームワークである。 NRTは、推論プロセスを潜在変数として扱うことで、トレーニング問題を再構築する。 NRTは検証不要な手法の最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-02-12T04:15:46Z)
• Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training [29.56905427210088]
  Gragient-ARMは、好みのフィードバックから強化学習を使用するルーリックジェネレータとジャッジを共同で最適化するフレームワークである。 ベンチマークのベースライン間で、勾配-ARMは最先端のパフォーマンスを達成し、オフラインおよびオンラインの強化学習設定において、ダウンストリームポリシーアライメントを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2026-02-02T00:50:53Z)
• Did Models Sufficient Learn? Attribution-Guided Training via Subset-Selected Counterfactual Augmentation [61.248535801314375]
  Subset-Selected Counterfactual Augmentation (SS-CA) 我々は,モデル予測を選択的に変更可能な最小空間領域集合を識別するために,対実的LIMAを開発した。 実験により,SS-CAは分布内テストデータ(ID)の一般化を改善し,分布外ベンチマーク(OOD)において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-11-15T08:39:22Z)
• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• Mitigating Distribution Shift in Model-based Offline RL via Shifts-aware Reward Learning [36.01269673940484]
  本稿では,問題をモデルバイアスとポリシーシフトという2つの基本要素に分解する包括的分析を行う。 我々の理論的および実証的研究は、これらの要因がどのように価値推定と政策最適化を歪めているかを明らかにする。 我々は、バニラ報酬を改良し、価値学習を洗練させ、政策訓練を促進する統一確率的推論フレームワークを通じて、新しいシフトアウェア報酬を導出する。
  論文  参考訳（メタデータ） (2024-08-23T04:25:09Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。