論文の概要: DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.04596v1
• Date: Sat, 03 Oct 2026 15:33:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 18:35:05.719865
• Title: DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation
• Title（参考訳）: DiffGate: オンライン蒸留における教師指導の難しさ
• Abstract要約: 検証可能な報酬を伴う強化学習(RLVR)は、相補的な結果レベルの監視を提供するが、疎い報酬と粗い信用割り当てに苦しむ。 教師信号は密集したローカルガイダンスを提供するが、ロールアウトの正しさに弱いのに対し、グループ相対報酬はタスク成功を捉えるが、トークンレベルクレジットは粗悪で、全障害グループでは消滅する。 DiffGateは,GRPOと選択的,有界な教師指導を組み合わせた学習目標である。
• 参考スコア（独自算出の注目度）: 8.1776750657211
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) has emerged as a widely used paradigm for post-training large language models, reducing the train--test mismatch of conventional distillation by supervising the student on its own generated trajectories. However, existing OPD objectives remain largely token-local and outcome-agnostic, optimizing teacher--student agreement at each prefix despite reasoning quality being determined at the trajectory level. Reinforcement learning with verifiable rewards (RLVR), particularly Group Relative Policy Optimization (GRPO), provides complementary outcome-level supervision but suffers from sparse rewards and coarse credit assignment. We show that OPD and RLVR exhibit complementary blind spots: teacher signals provide dense local guidance but are weakly aligned with rollout correctness, whereas group-relative rewards capture task success but provide coarse token-level credit and vanish on all-failure groups. We introduce DiffGate, an outcome-gated objective that combines GRPO with selective, bounded teacher guidance. Teacher supervision is applied only to failed trajectories, scaled by group difficulty, and smoothly bounded to prevent extreme teacher--student discrepancies from dominating optimization. The verifier therefore determines \emph{which trajectories} receive teacher guidance, while the teacher provides dense token-level update directions within those trajectories. Across Qwen3-0.6B and Qwen3-1.7B students, DiffGate improves code avg@8 over matched GRPO by $+1.7$ and $+1.8$ points and pass@8 by $+1.6$ and $+5.7$ points, respectively. On mathematics, avg@8 remains within $0.5$ points of GRPO while pass@8 improves by $+1.1$ and $+3.9$ points. Overall, DiffGate improves pass@8 across all four model--domain settings, demonstrating improved solution coverage under our evaluation protocol.
• Abstract（参考訳）: オンライン蒸留(OPD)は、大規模言語モデルの訓練後において広く用いられるパラダイムとして登場し、学生が自作の軌跡を監督することによって、従来の蒸留のミスマッチを減らした。 しかし,既存のOPDの目標の多くはトークン局所的かつ結果に依存しないままであり,各接頭辞における教師の合意を最適化する。 検証可能な報酬(RLVR)、特にグループ相対政策最適化(GRPO)による強化学習は、相補的な結果レベルの監督を提供するが、まばらな報酬と粗末な信用割り当てに苦しむ。 教師信号は密集したローカルガイダンスを提供するが、ロールアウトの正しさに弱いのに対し、グループ相対報酬はタスク成功を捉えるが、トークンレベルクレジットは粗悪で、全障害グループでは消滅する。 DiffGateは,GRPOと選択的,有界な教師指導を組み合わせた学習目標である。 教師の監督は、失敗する軌跡にのみ適用され、グループ難易度によって拡大され、極度の教師の不一致を防ぐためにスムーズに拘束される。 したがって、検証者は教師の指導を受ける「emph{ which trajectories}」を判定し、教師はそれらの軌跡内で密集したトークンレベルの更新方向を提供する。 Qwen3-0.6Bの学生とQwen3-1.7Bの学生の間で、DiffGateは一致したGRPOよりもコードavg@8を$+1.7$と$+1.8$ポイントで、pass@8を$+1.6$と$+5.7$ポイントで改善している。 数学では、avg@8 は GRPO の0.5ドルの範囲に留まり、pass@8 は$+1.1$ と$+3.9$ に改善される。 全体として、DiffGateは4つのモデルドメイン設定すべてでpass@8を改善し、評価プロトコル下でのソリューションカバレッジを改善した。

関連論文リスト

• Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
  オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。 決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。 このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。 本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
  論文  参考訳（メタデータ） (2026-09-28T16:09:06Z)
• Beyond Teacher Likelihood: Group-Calibrated On-Policy Distillation for Long-Context Reasoning [19.29382518431932]
  GC-OPD (Group-Calibrated On-Policy Distillation) は、強力な教師から高濃度のトークンレベルガイダンスを用いて生徒に独自の反応を訓練する。 GC-OPD(Group-Calibrated On-Policy Distillation)は、各ロールアウトグループ内の検証報酬と軌道レベルのPDスコアを正規化する。 相対アドバンテージベースの信用割当(RACA)は、相対的なOPDの利点に応じてトークン間でこの軌道レベルの残差を分配する。
  論文  参考訳（メタデータ） (2026-08-19T17:54:58Z)
• REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation [10.492445451268727]
  REOPDは、オンデマンド蒸留のための信頼性適応型報酬外挿フレームワークである。 信頼性の高い教師参照方向に沿って選択的に外挿しながら、教師のアライメントを保ちます。
  論文  参考訳（メタデータ） (2026-08-12T06:15:33Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
  自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。 SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-14T17:51:26Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。