論文の概要: Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.21601v1
• Date: Thu, 15 Oct 2026 09:47:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.309569
• Title: Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation
• Title（参考訳）: Waypoint-OPD:Gated On-Policy蒸留によるRL誘導政策シフトの移行
• Abstract要約: 政策シフト蒸留は、強化学習(RL)の前後における教師のログ確率の違いを、学生が生成した軌跡の監督として再利用する。 我々は,早期と後期の教員方針の転換が選択的移転を導くことができるかどうかを考察する。 学生が訪問する接頭辞における相対行動選好の早期・後期変化を比較するために,中間教師チェックポイントを用いてWaypoint-guided On-Policy Distillation(Waypoint-OPD)を導入する。
• 参考スコア（独自算出の注目度）: 10.24142921437929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Policy-shift distillation reuses the difference between a teacher's log probabilities before and after reinforcement learning (RL) as supervision on student-generated trajectories. However, this endpoint policy shift cannot reveal whether local action preferences evolved consistently during teacher training. The same endpoint shift can result from early and late shifts that reinforce or partially cancel each other. We investigate whether agreement between early and late teacher policy shifts can guide selective transfer. We introduce Waypoint-guided On-Policy Distillation (Waypoint-OPD), which uses an intermediate teacher checkpoint from the same RL run to compare early and late shifts in relative action preferences at student-visited prefixes. We gate the endpoint shift according to the directional agreement between the early and late shifts, suppressing it when they point in opposing directions. Compared with endpoint-only transfer, our method requires only one additional frozen-teacher scoring pass. Using RL-trained Qwen3-4B teachers, we evaluate our method with Qwen3-8B, Qwen3-14B, and Qwen3-30B-A3B as student models in mathematical and code reasoning. In all six domain--student settings, Waypoint-OPD achieves the highest domain-average score among the compared distillation methods. Ablations with the Qwen3-8B student show that removing or shuffling gates reduces mathematical reasoning performance. These results support the use of directional agreement between early and late teacher policy shifts to weight the endpoint shift during student training.
• Abstract（参考訳）: 政策シフト蒸留は、強化学習(RL)の前後における教師のログ確率の違いを、学生が生成した軌跡の監督として再利用する。 しかし、このエンドポイントポリシーシフトは、教師の訓練中に局所的な行動嗜好が一貫して進化するかどうかを明らかにすることはできない。 同じエンドポイントシフトは、互いに強化あるいは部分的にキャンセルする早期と後期のシフトから生じる可能性がある。 我々は,早期と後期の教員方針の転換が選択的移転を導くことができるかどうかを考察する。 我々は,同じRLランから中間教師チェックポイントを用いて,学生が訪問する接頭辞における相対行動選好の早期・後期変化を比較する,Waypoint-guided On-Policy Distillation (Waypoint-OPD)を紹介した。 我々は、初期シフトと後期シフトの方向合意に従ってエンドポイントシフトをゲートし、反対方向を指しているときにそれを抑制します。 エンドポイントのみの転送と比較して,本手法では1つのフリーズTeacherスコアリングパスしか必要としない。 RLを訓練したQwen3-4B教師を用いて,数理およびコード推論の学生モデルとして,Qwen3-8B,Qwen3-14B,Qwen3-30B-A3Bを用いて評価を行った。 これら6つのドメインの全てにおいて、Waypoint-OPDは、比較した蒸留法の中で、最も高いドメイン平均スコアを達成している。 Qwen3-8Bの学生とのアブレーションは、ゲートの取り外しやシャッフルが数学的推論性能を低下させることを示している。 これらの結果は,学生教育におけるエンドポイントシフトを重み付けるために,早期と後期の教師方針シフト間の方向性合意の利用を支援する。

関連論文リスト

• Learning from Think-Mode Advantage via On-Policy Distillation [3.0639543221446655]
  明示的な中間推論は、大きな言語モデルにより強力な問題解決モードを与える。 我々は、オンライン蒸留(OPD)を通して、このシンクモードの利点から学ぶことを研究する。 ThinkOPDは、学生が生成した軌跡を保存し、学生が訪問する接頭辞に密集したトークンレベルの教師ターゲットを提供する。
  論文  参考訳（メタデータ） (2026-09-29T08:51:21Z)
• CompassOPD: Cross-Family On-Policy Distillation via Within-Family Likelihood Shifts [22.477344425155177]
  オンライン蒸留(OPD)は、学生が生み出す軌跡の高密度なトークンレベルの監督を提供する。 OPDの有効性は, トークン化器のアライメント後においても, クロスセッティングにおいて低下することがわかった。 我々は、標準のクロスファミリーOPDを一貫して上回るCompassOPDを提案する。
  論文  参考訳（メタデータ） (2026-09-09T13:31:57Z)
• BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
  BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。 Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
  論文  参考訳（メタデータ） (2026-08-09T15:32:16Z)
• Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
  オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。 データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
  論文  参考訳（メタデータ） (2026-08-07T04:47:38Z)
• Look Ahead Before You Distill: Future Trajectory Validation of Teacher Guidance for Agentic On-Policy Distillation [18.893534946567218]
  オンライン蒸留(On-policy distillation、OPD)は、学生が訪れた州を教師が監督する制度である。 本稿では,教師の短い橋渡しを行うFutureBridge-OPD(FTB)を提案する。 Qwen3-32Bの主教師がQwen3-1.7Bの学生設定で、FTBはバニラOPDとTCODを平均16.6点、7.6点で上回っている。
  論文  参考訳（メタデータ） (2026-08-03T09:25:42Z)
• Prefix-Guided On-Policy Distillation: Mining Golden Trajectories from Rollouts [48.550535291129584]
  Prefix-Guided On-Policy Distillation (PG-OPD) は、固定長プレフィックスを用いて、高価な長距離発生前に軌跡値を推定する単純なロールアウト・アロケーションフレームワークである。 AMC、AIME、HMMTベンチマークの様々な教師/学生の組み合わせで、PG-OPDはトレーニング時間を最大2.46倍にし、平均精度を4.80ポイントまで改善している。
  論文  参考訳（メタデータ） (2026-06-20T11:18:34Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。