論文の概要: SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation
- arxiv url: http://arxiv.org/abs/2609.36742v1
- Date: Tue, 29 Sep 2026 05:15:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.205709
- Title: SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation
- Title（参考訳）: SIPO: オンデマンド自己蒸留による強化学習の統合
- Abstract要約: 検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。
我々は,自己指導型政策最適化(SIPO)と対照的な自己指導型政策最適化(SIPO)を提案する。
- 参考スコア（独自算出の注目度）: 24.836022752759035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) has become a standard paradigm for improving large language models (LLMs) on various tasks, yet its sparse outcome rewards lack token-level credit assignment for intermediate steps. To address this, on-policy self-distillation (OPSD) leverages a self-teacher with privileged context to provide additional dense learning signals. However, because the self-teacher is often overconfident and imposes excessive penalties on long reasoning trajectories, OPSD frequently struggles in practice. To mitigate this, we propose self-instructing policy optimization (SIPO) with a contrastive self-teacher to provide dense credit. At each iteration, SIPO samples multiple rollouts per prompt from the current policy, scores them with environment rewards, and constructs two teacher contexts for each rollout by pairing the reference answer with mistakes made within the group. The model then re-evaluates its own responses under both contexts, using the difference between the two teacher log-probabilities as token-level feedback, so that biases shared by both contexts are expected to largely cancel. The resulting objective yields a token-level advantage for every rollout: the reward still sets the main direction of each update while the self-teacher redistributes credit across tokens. Even in groups where every rollout fails and group-relative advantages vanish, SIPO still provides a learning signal. By preserving direct optimization of the task reward while providing dense, token-level feedback, this approach bridges reinforcement learning and on-policy self-distillation. Extensive experiments across multiple reasoning and code-generation benchmarks demonstrate that SIPO outperforms both RLVR and OPSD baselines without an external teacher or additional generation.
- Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。
これを解決するために、OPSD(On-policy Self-distillation)は、特権付きコンテキストを持つ自己学習者を活用して、さらに高密度な学習信号を提供する。
しかし、自己教育者は、しばしば過度に自信を持ち、長い理由づけの軌跡に過度の罰則を課すため、OPSDは実践においてしばしば苦労する。
これを軽減するために,我々は,自己指導型政策最適化(SIPO)を提案する。
各イテレーションにおいて、SIPOは、現在のポリシーからのプロンプト毎に複数のロールアウトをサンプリングし、環境報酬でそれらをスコアし、グループ内で犯されたミスと基準回答をペアリングすることで、ロールアウト毎に2つの教師コンテキストを構築します。
次に、モデルが両方のコンテキスト下で自身のレスポンスを再評価し、2つの教師のログ確率の差をトークンレベルのフィードバックとして利用することにより、両方のコンテキストで共有されるバイアスが大部分がキャンセルされることが期待できる。
報奨はアップデートのメインの方向を設定し、自己学習者はトークンをまたいでクレジットを再配布する。
すべてのロールアウトが失敗し、グループ相対的なアドバンテージが消えるグループにおいても、SIPOは依然として学習シグナルを提供する。
密集したトークンレベルのフィードバックを提供しながらタスク報酬を直接最適化することにより、強化学習とオンライン自己蒸留を橋渡しする。
複数の推論とコード生成ベンチマークにわたる大規模な実験は、SIPOが外部の教師や追加の世代なしでRLVRとOPSDのベースラインを上回っていることを示している。
関連論文リスト
- When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment [30.535425747356125]
Unified Entropy-Calibrated Credit Redistribution for GRPOは、単一のGRPOスタイルの更新に検証器と教師信号を統合する。
emphPath-Utility Unification (PUU)は、検証者報酬と教師対教師パスの対数比を単一のKL正規化目的に組み合わせている。
emphEntropy-Calibrated Redistribution (ECR) は、署名された教師-旧来のトークンギャップを使用して、検証者由来のコンポーネントを再配布する。
論文 参考訳（メタデータ） (2026-09-23T16:58:26Z) - Group-Reflective Self-Distillation for Agentic Reinforcement Learning [8.041052886037766]
GRSD(Group-Reflective Self-Distillation)は、政策が検証したロールアウトから、能力の整合性と結果の差別的なガイダンスを導出する。
GRSDは競争ベースラインを一貫して上回り、目に見えないタスクをより効果的に一般化する。
論文 参考訳（メタデータ） (2026-07-30T11:49:46Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。
オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。
本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-06-14T03:37:27Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization [18.027254451537342]
既存の自己蒸留法は、文脈拡張型教師モデルに向けた学習をKLマッチングに大きく還元する。
textbfPreference-textbfBased textbfSelf-textbfDistillation (textbfPBSD)を提案する。
論文 参考訳（メタデータ） (2026-05-06T15:31:50Z) - Self-Distilled RLVR [57.37526213765131]
特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。
textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。
これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
論文 参考訳（メタデータ） (2026-04-03T15:50:07Z) - Reinforcement Learning via Self-Distillation [37.078107691613155]
大規模言語モデルは、コードや数学などの検証可能な領域で強化学習を施して、ポストトレーニングされている。
検証可能な報酬(RLVR)を用いた強化学習の現在の手法は、試みごとにスカラーな結果報酬からのみ学習し、深刻な信用割り当てボトルネックを生み出す。
我々は、この設定をリッチフィードバックによる強化学習として定式化し、自己蒸留政策最適化(SDPO)を導入する。
SDPOは、トークン化されたフィードバックを、外部教師や明示的な報酬モデルなしで、密集した学習信号に変換する。
論文 参考訳（メタデータ） (2026-01-28T17:45:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。