論文の概要: GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2610.23042v1
- Date: Fri, 16 Oct 2026 07:22:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.803323
- Title: GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation
- Title（参考訳）: GR-OPD:On-Policy蒸留におけるグループ関連配列クレジット
- Abstract要約: トークンフィードバックを校正されたシーケンスレベルのクレジットに集約することで、クレジット代入からフィードバックを分離する手法(Group-Relative On-Policy Distillation)を導入する。
そこで本研究では,教師指導の校正に同時期のロールアウトグループを用いて,分散シフト時に信頼性が低下する可能性のある後続のフィードバックを割引する手法を提案する。
- 参考スコア（独自算出の注目度）: 17.170095056849874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD) provides token-level teacher feedback, yet common sampled-token updates assign credit locally and omit the effects of earlier actions on subsequent feedback. We introduce \method{} (Group-Relative On-Policy Distillation), which decouples feedback computation from credit assignment by aggregating token feedback into calibrated sequence-level credit. We establish a theoretical basis for this approach by showing that, under ideal on-policy assumptions, broadcasting raw summed feedback to every response token yields an unbiased estimate of the negative gradient of the sequence-level reverse-KL objective. To support effective learning in practice, \method{} discounts later feedback that may become less reliable under distribution shift and uses same-prompt rollout groups to calibrate teacher guidance. It preserves relative response preferences while retaining a controlled fraction of the group mean, which we term collective teacher pressure. Across five Qwen3 teacher--student settings and six mathematical reasoning benchmarks, \method{} outperforms vanilla OPD in macro Avg@K in every setting, including gains of 10.9 and 11.5 percentage points in two settings with matched thinking patterns. It also maintains stable training under mismatched thinking patterns, where vanilla OPD collapses. Ablations show that retaining an appropriate amount of collective teacher pressure can improve learning, while excessive collective teacher pressure or an unrestricted feedback horizon can destabilize training.
- Abstract（参考訳）: オン・ポリシー蒸留(OPD)はトークンレベルの教師のフィードバックを提供するが、一般的なサンプル・トケンの更新はクレジットをローカルに割り当て、その後のフィードバックに対する以前の行動の影響を省略する。
我々は、トークンフィードバックを調整されたシーケンスレベルクレジットに集約することで、クレジット代入からフィードバック計算を分離する‘method{} (Group-Relative On-Policy Distillation) を導入する。
提案手法の理論的基礎は, 理想的なオンライン仮定の下で, 全ての応答トークンに対して生の総和フィードバックをブロードキャストすることにより, シーケンスレベルの逆KL目標の負の勾配の偏りのない推定値が得られることを示す。
実践的な効果的な学習を支援するために、'method{} は配布シフト時に信頼性が低下する可能性のある後続のフィードバックを割引し、教師指導を校正するために同一のロールアウトグループを使用する。
グループ平均の制御された割合を維持しながら、相対的な反応の嗜好を保ち、これを総合教師圧力と呼ぶ。
5つのQwen3教師-学生設定と6つの数学的推論ベンチマークで、\method{} はマクロ Avg@K のバニラOPD を2つの設定で 10.9 と 11.5 の利得を含む全ての設定で上回っている。
また、バニラOPDが崩壊する、ミスマッチした思考パターンの下での安定したトレーニングも維持している。
アブレーションは,教師のプレッシャーを一定に保つことで学習が向上し,教師のプレッシャーの過度さや制限のないフィードバックの地平線がトレーニングを不安定化させることを示唆している。
関連論文リスト
- VASPO: Self-Distillation with Privileged Value Estimation [26.104070397307595]
オンラインの自己蒸留は、特権的な自己教育者を通じて、推論モデルに対する厳密な監督を提供する。
近年の手法では、この信号をGRPOと組み合わせている。
PPO内でより効果的な統合を実証する。
論文 参考訳（メタデータ） (2026-10-14T17:17:18Z) - Revisiting On-policy Adversarial Black-Box Distillation: Calibrating Groupwise Reward Geometry for Effective Advantage Construction [78.96080253280225]
ブラックボックス蒸留は、APIアクセス可能な大規模言語モデルから機能を移行するための実用的な方法である。
GADのような近年の政敵法は、批判者と学生の間の対立ループを形成している。
本稿では,学生側報酬グループを形作ることによって利点を享受する2段階構成フレームワークGRGCを提案する。
論文 参考訳（メタデータ） (2026-09-30T13:53:57Z) - Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。
オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。
OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
論文 参考訳（メタデータ） (2026-09-29T23:47:58Z) - SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation [24.836022752759035]
検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。
我々は,自己指導型政策最適化(SIPO)と対照的な自己指導型政策最適化(SIPO)を提案する。
論文 参考訳（メタデータ） (2026-09-29T05:15:41Z) - Inductive Feedback for Mixed-Policy Distillation [15.997296479947785]
言語フィードバックはエラーを特定し、修正を処方する。
オンライン蒸留は、学生が生み出したロールアウトに関する教師の予測に合致するように学生を訓練する。
このアプローチは、フィードバックのほとんどを未使用のままにしながら、フィードバックが動機のない教師の好みを伝達することができる。
論文 参考訳（メタデータ） (2026-09-28T15:20:35Z) - TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment [30.535425747356125]
Unified Entropy-Calibrated Credit Redistribution for GRPOは、単一のGRPOスタイルの更新に検証器と教師信号を統合する。
emphPath-Utility Unification (PUU)は、検証者報酬と教師対教師パスの対数比を単一のKL正規化目的に組み合わせている。
emphEntropy-Calibrated Redistribution (ECR) は、署名された教師-旧来のトークンギャップを使用して、検証者由来のコンポーネントを再配布する。
論文 参考訳（メタデータ） (2026-09-23T16:58:26Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。