論文の概要: SAF-OPD: Stable Advantage Fusion for On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2607.29209v1
- Date: Fri, 31 Jul 2026 09:28:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.676214
- Title: SAF-OPD: Stable Advantage Fusion for On-Policy Distillation
- Title（参考訳）: SAF-OPD : オンデマンド蒸留のための安定なアドバンテージ融合
- Abstract要約: 検証可能な報酬(RLVR)による強化学習は、トークン毎に単一の応答レベル報酬をブロードキャストする。
オンライン蒸留(OPD)は、より強大な利益のために、より強い教師に対してそれぞれのトークンをスコア付けするが、教師の質でのパフォーマンスを抑え、それを超える探索を妨げている。
我々は,OPDの優位性にのみ適用される軽量な4段階パイプラインを通じて,両方の問題を解決するフレームワークであるSAFを提案する。
- 参考スコア（独自算出の注目度）: 26.237188963312633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning with verifiable rewards (RLVR) broadcasts a single response-level reward to every token, while on-policy distillation (OPD) scores each token against a stronger teacher for a dense advantage but caps performance at teacher quality and discourages exploration beyond it. Their complementarity makes combining RLVR and OPD promising, but we find that fusing the two advantages with a fixed coefficient triggers entropy collapse from two miscalibrations: a magnitude mismatch, where token-level OPD advantages can spike far beyond the bounded RLVR advantage and erase its signal, and a temporal mismatch, where sustained full-strength OPD keeps pulling the student toward the teacher and limits exploration needed to surpass it. We propose SAF, a Stable Advantage Fusion framework that resolves both issues via a lightweight, four-stage pipeline applied only to the OPD advantage: a sparsify-then-compress mechanism for magnitude control paired with a warm-up-then-anneal mechanism for temporal control, with each stage independently switchable and adding negligible overhead. Instantiating RLVR with GRPO, we evaluate SAF across seven mathematical reasoning and code generation benchmarks with Qwen3-1.7B/4B/8B: SAF avoids entropy collapse and consistently outperforms fixed-coefficient GRPO+OPD fusion, improving the aggregate score by 0.51-2.70% across all six model-domain settings while achieving more stable training.
- Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、すべてのトークンに対して単一の応答レベル報酬をブロードキャストする一方、オンライン蒸留(OPD)は、より強大な利益のために、より強い教師に対して各トークンをスコアするが、教師の品質が向上し、探究を妨げている。
彼らの相補性はRLVRとOPDの組み合わせを有望なものとしますが、この2つの利点を固定係数と融合させることで、エントロピーの崩壊を2つの誤校正から引き起こすことがわかりました。
SAFは,OPDの優位性にのみ適用される軽量で4段階のパイプラインを通じて,両問題を解消する安定アドバンテージ・フュージョンフレームワークである。
Qwen3-1.7B/4B/8B: SAFはエントロピー崩壊を回避し、固定係数GRPO+OPD融合を一貫して上回り、より安定したトレーニングをしながら、6つのモデルドメイン設定の合計スコアを0.11-2.70%改善する。
関連論文リスト
- Sequential Beats Joint: On the Interplay between On-Policy Distillation and RLVR [31.617522438897236]
単純な2段階スキームであるOPD-then-RLは、純粋PD、純粋RLVR、および論理および数理推論ベンチマークの全てのジョイントベースラインを一貫して上回ることを示す。
実用的なレシピとして、OPD検証スコアがRLに切り替える際の鍵信号であり、PDはSFTよりもRLのコールドスタートであることがわかった。
論文 参考訳（メタデータ） (2026-09-03T17:14:27Z) - On-policy Distillation with Verifiable Reward [32.72049308672042]
オンライン蒸留(OPD)とRLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの訓練後に広く採用されている2つのパラダイムとなっている。
本稿では,OPDVR と RLVR をシームレスに組み合わせた簡易かつ効果的な方法である OPDVR (On-policy Distillation with Verifiable Reward) を提案する。
6つの推論ベンチマークの実験は、PDVRが標準PDより一貫して優れていることを示している。
論文 参考訳（メタデータ） (2026-08-25T15:21:17Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability [78.63876433996107]
GRPOの下でトークンレベルのエントロピーダイナミクスの1次勾配解析を行う。
本稿では,バッチ内部量子化によるエントロピークリティカルトークンのサブセットを識別するSTAREを提案する。
AIME24とAIME25では、STAREはDAPOや他の競争ベースラインを平均精度で4%-8%上回っている。
論文 参考訳（メタデータ） (2026-06-17T16:13:42Z) - Two is better than one: A Collapse-free Multi-Reward RLIF Training Framework [6.490241400619907]
内部フィードバックからの強化学習は、スケーラブルで教師なしの代替手段として最近登場した。
本稿では,学習信号を2つの補完成分に分解するマルチリワードRLIFフレームワークを提案する。
提案手法は,外部の地平監督に頼らずに,安定した長距離推論を支援することができることを示す。
論文 参考訳（メタデータ） (2026-05-21T15:30:47Z) - Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。
SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-14T17:51:26Z) - When Policies Cannot Be Retrained: A Unified Closed-Form View of Post-Training Steering in Offline Reinforcement Learning [2.865584368950257]
目標条件付きProduct-of-Experts (PoE) 合成を用いて,凍結したオフラインアクターのデプロイメント時間適応について検討した。
私たちの主な実践的発見は、普遍的なパフォーマンス向上よりも優雅な劣化です。
全体として、PoEとKL規則化された適応は、デプロイ時のステアリングのための単一のアクターアンコール安全メカニズムとして最もよく見なされている。
論文 参考訳（メタデータ） (2026-04-23T20:20:11Z) - Self-Distilled RLVR [57.37526213765131]
特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。
textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。
これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
論文 参考訳（メタデータ） (2026-04-03T15:50:07Z) - Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes [3.305265383862785]
コンパニオン表現プローブを用いたシーケンシャルトランスフォーマーエンコーダにおけるローランド適応(LoRA)の実証的研究について述べる。
RTE->MRPC->CoLA->SST-2配列上の5つのフルバリデーションBERTベースでは、フル微調整の収率は19.9%+/-で、標準のLoRA(r、クエリ/バリューモジュール)は0.6%+/-1.4%である。
論文 参考訳（メタデータ） (2026-03-29T14:14:36Z) - VLA-OPD: Bridging Offline SFT and Online RL for Vision-Language-Action Models via On-Policy Distillation [14.33516456804297]
On-Policy VLA Distillation (VLA-OPD)は、オンライン強化学習(RL)の効率をオフライン監視ファインチューニング(SFT)の堅牢性でブリッジするフレームワークである。
論文 参考訳（メタデータ） (2026-03-27T17:59:33Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - GuardFed: A Trustworthy Federated Learning Framework Against Dual-Facet Attacks [56.983319121358555]
フェデレートラーニング(FL)は、プライバシ保護のための協調モデルトレーニングを可能にするが、敵の行動に弱いままである。
本稿では,予測精度とグループフェアネスを同時に損なう新たな脅威モデルであるデュアル顔攻撃(DFA)を紹介する。
本稿では,少量のクリーンサーバデータを用いて,公正な参照モデルを維持する自己適応型防衛フレームワークであるGuardFedを提案する。
論文 参考訳（メタデータ） (2025-11-12T13:02:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。