論文の概要: DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment
- arxiv url: http://arxiv.org/abs/2609.27572v1
- Date: Wed, 23 Sep 2026 08:52:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.960313
- Title: DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment
- Title（参考訳）: DCRL:ポリシ・リワード・マニフォールド・アライメントによる強化学習の分離と結合
- Abstract要約: 強化学習(Reinforcement Learning, RL)は,大規模言語モデル(LLM)の推論能力向上のための重要なパラダイムとして登場した。
既存の報酬システム(ルールベースや報酬モデルベース)では、不安定な最適化や報酬ハックといった問題が発生することが多い。
本稿では,2つの重要なコンポーネントを組み込んだデカップリング・カップリング強化学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 22.742963955535085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) has emerged as a key paradigm for improving the reasoning capabilities of large language models (LLMs). However, existing reward systems, such as rule-based and reward-model-based, often exhibit issues such as unstable optimization and reward hacking. In this work, we revisit the general reasoning of LLMs from a geometric perspective, conceptualizing it as a coupled manifold composed of three interdependent sub-manifolds: logical deduction, evaluation, and representation. Based on this perspective, response generation in RL can be interpreted as a decoupling process from the evaluation manifold, while reward estimation corresponds to a decoupling process from the logical deduction manifold. The limitations of rule-based and reward-model RL systems can be geometrically interpreted as the mismatch of policy-reward manifolds during RL process. To address the aforementioned misalignment, we propose Decoupling and Coupling Reinforcement Learning (DCRL) framework, which incorporates two key components: (1) a syllogistic logic-based prompt evolution mechanism that dynamically refines reward rubrics to enhance the expressiveness of the reward manifold; and (2) a policy-reward re-coupling mechanism that jointly updates the reward and policy models, ensuring consistent evaluation and mitigating manifold mismatch during training. Theoretical analysis and extensive experiments across multiple reasoning domains demonstrate that DCRL consistently outperforms both rule-based and reward-model baselines. Notably, a Qwen3-4B model trained under DCRL surpasses a Qwen3-32B baseline and approaches the performance of a Qwen3-235B model, highlighting superior effectiveness and generalization in RL.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)の推論能力を改善するための重要なパラダイムとして登場した。
しかし、ルールベースや報酬モデルベースといった既存の報酬システムでは、不安定な最適化や報酬ハックといった問題が発生することが多い。
本研究では, LLMの一般推論を幾何学的観点から再考し, 論理的推論, 評価, 表現という3つの相互依存部分多様体からなる結合多様体として概念化する。
この観点から、RL における応答生成は評価多様体からの疎結合過程と解釈でき、一方報酬推定は論理的導出多様体からの疎結合過程に対応する。
ルールベースおよび報酬モデルRLシステムの制限は、RL過程におけるポリシー逆多様体のミスマッチとして幾何学的に解釈できる。
1)報酬の表現性を高めるために報酬を動的に洗練するシロジック論理に基づくプロンプト進化機構,(2)報酬モデルとポリシーモデルを共同で更新し、トレーニング中に一貫した評価と多様体のミスマッチを緩和するポリシ・リワード・リカウンダリング機構である。
複数の推論領域にわたる理論解析と広範な実験により、DCRLは規則ベースと報酬モデルの両方のベースラインを一貫して上回ることを示した。
特に、DCRLの下で訓練されたQwen3-4Bモデルは、Qwen3-32Bベースラインを超え、Qwen3-235Bモデルの性能に近づき、RLにおける優れた効果と一般化を強調している。
関連論文リスト
- Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs [52.129885179495226]
本研究では,RL学習大言語モデル(LLM)の融合動作を従来のSFT学習モデルと比較し,系統的に検討した。
RLはタスクの競合を著しく低減し、マージ後のパフォーマンス劣化を低減します。
論文 参考訳（メタデータ） (2026-07-24T07:08:57Z) - The Art of Interrogation: Consistency Amplifies Factuality in Spatial Reasoning [65.67266333751569]
現在のLRM(Large Reasoning Models)は、空間推論タスクにおいて顕著な汎用性を示すが、性能は著しく劣る。
本研究では,内的推論プロセスを対象とした自己指導型強化学習フレームワークを提案する。
このラベルのない整合性トレーニングは,地道的な監督によって訓練されたモデルの精度にアプローチし,多様なタスクやデータ領域にまたがる同様の一般化を実現することを示す。
論文 参考訳（メタデータ） (2026-06-10T10:50:06Z) - Reinforcing Structured Chain-of-Thought for Video Understanding [49.3086326382764]
概要駆動強化学習(SDRL)を紹介する。
SDRLは、Supervised Fine-Tuning (SFT)の必要性を回避したシングルステージのRLフレームワークである。
提案手法は、7つの公開ビデオQAデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2026-03-26T22:11:14Z) - Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought [73.39221516441624]
マルチモーダル・チェーン・オブ・ソート(CoT)推論は、推論軌道を構築するために大きな視覚言語モデルを必要とする。
既存のReinforcement Learning with Verifiable Rewards (RLVR) 法は、様々な視覚的接地度を区別することなく、CoTを均一に扱う。
本稿では,隠れ状態の類似性に先立って認識を導き,トークンのエントロピーと統合する知覚探索ポリシー最適化(PEPO)を提案する。
論文 参考訳（メタデータ） (2026-03-24T06:38:00Z) - Coupled Variational Reinforcement Learning for Language Model General Reasoning [83.82392089177841]
変分推論と強化学習を橋渡しするために,textitbCoupled bVari bReinforcement bLearning (CoVRL)を提案する。
CoVRLはベースモデルよりも12.4%向上し、最先端の検証不要なRLベースラインよりも2.3%向上した。
論文 参考訳（メタデータ） (2025-12-14T07:03:51Z) - Empowering Multi-Turn Tool-Integrated Reasoning with Group Turn Policy Optimization [20.004150645050537]
Group Turn Policy Optimization (GTPO) は、多ターンツール統合推論タスクにおける大規模言語モデル(LLM)のトレーニング用に設計された、新しい強化学習アルゴリズムである。
GTPOは、各ターンに対してきめ細かいフィードバックを提供するターンレベルの報酬割り当て、リターンベースの利点推定、自己監督型報酬形成という3つの重要なイノベーションを導入している。
総合評価の結果、GTPOは様々な推論ベンチマークでGRPOを平均3.0%上回っていることがわかった。
論文 参考訳（メタデータ） (2025-11-18T19:01:16Z) - ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。
人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
論文 参考訳（メタデータ） (2025-09-22T13:00:35Z) - Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。
SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。
我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
論文 参考訳（メタデータ） (2025-06-05T07:53:59Z) - Reshaping Reasoning in LLMs: A Theoretical Analysis of RL Training Dynamics through Pattern Selection [35.268183415853976]
本稿では,実験解析と厳密な理論的モデリングによるRL学習プロセスの説明を行う。
我々は、報酬(RLVR)とモデルの内部フィードバック(RLIF)という2つの典型的な報酬を用いて、RLのトレーニングダイナミクスを理解するための理論的枠組みを開発する。
論文 参考訳（メタデータ） (2025-06-05T07:17:04Z) - A Unified Pairwise Framework for RLHF: Bridging Generative Reward Modeling and Policy Optimization [18.892740849961456]
Reinforcement Learning from Human Feedback (RLHF) は、大規模言語モデルと人間の好みを協調させる重要なパラダイムとして生まれてきた。
本稿では,これらの課題に対処するRLHFフレームワークであるPairwise-RLを紹介する。
論文 参考訳（メタデータ） (2025-04-07T11:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。