論文の概要: Reinforcing What the Student Has Learned: Teacher-Guided On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2611.07722v1
- Date: Thu, 05 Nov 2026 09:38:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.640094
- Title: Reinforcing What the Student Has Learned: Teacher-Guided On-Policy Distillation
- Title(参考訳): 教師が指導したオンライン蒸留
- Abstract要約: オンライン蒸留(OPD)は、生徒の反応に対する教師の濃密なフィードバックを通じて言語モデル推論を改善する。
そこで我々は, 中央値の差分を更新係数として用いたSD-OPD(Studio-Delta On-Policy Distillation)を提案する。
SD-OPDは6タスク平均パス@1をPDで7.76から10.37ポイント改善している。
- 参考スコア(独自算出の注目度): 44.974255096642246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) improves language-model reasoning through dense teacher feedback on student-generated responses.We first observe an amplitude disparity in this feedback: on math reasoning responses, style-related positions exhibit 3.5 times the mean absolute teacher--student log-probability difference of mathematical positions.Scaling OPD updates by these discrepancies thus directs much of the update strength toward matching the teacher's expression. We instead take the student's own pretrained base as a reference: the student--base difference records the token preferences acquired during post-training and provides supervision that does not depend on the student's distance from the teacher. Building on this reference, we propose Student-Delta On-Policy Distillation (SD-OPD), which uses centered student--base differences as update coefficients, keeps each coefficient only when its sign agrees with centered teacher--student feedback, and recomputes the student signal every training round. Across 5 teacher--student configurations with Qwen3 students of 1.7B to 8B parameters, SD-OPD improves six-task mathematics average pass@1 (avg@16) over OPD by 7.76 to 10.37 percentage points. Code is available at https://github.com/aim-uofa/sd-opd.
- Abstract(参考訳): オンライン蒸留 (OPD) は, 生徒の反応に対する高密度教師のフィードバックによる言語モデル推論を改善する。まず, このフィードバックの振幅差を, 数学的推論応答の3.5倍の絶対的な教師-学生の対数確率差を示す。
その代わりに、学生の事前訓練ベースを参考として、学生の学習後に獲得したトークンの選好を記録し、教師からの距離に依存しない監督を行う。
そこで,本論文では,学習者中心の差分を更新係数として用い,その符号が教師中心のフィードバックに一致する場合にのみ各係数を保ち,訓練ラウンド毎に学生信号を再計算する学生デルタ点検法(SD-OPD)を提案する。
Qwen3の学生が1.7Bから8Bのパラメータを持つ5つの教師構成の中で、SD-OPDは6タスクの数学平均パス@1(avg@16)をPDよりも7.76から10.37ポイント改善している。
コードはhttps://github.com/aim-uofa/sd-opd.comで入手できる。
関連論文リスト
- Meet Students Where They Are: Student-Prefix Teacher Adaptation for On-Policy Distillation [79.69506233995021]
学生予科教員適応(SPTA)は、蒸留中に質問される州に教師を適応させる。
数式推論ベンチマーク実験により,タスクレベルRLVR適応教師による標準PDとOPDよりもSPTAの方が平均的な学生成績を向上させることが示された。
論文 参考訳(メタデータ) (2026-11-02T13:45:23Z) - ATI-OPD: Adaptive Teacher Intervention for Stable Long-Sequence On-Policy Distillation [49.1911535337669]
オンライン蒸留(OPD)は、教師からのトークンレベルのフィードバックを使って生徒に独自の反応を訓練する。
そこで本稿では, 教師指導を改善するために, オンライン蒸留(ATI-OPD)のテキストbf教師介入を提案する。
論文 参考訳(メタデータ) (2026-10-28T02:00:26Z) - OPDArena: Understanding Learning and Forgetting in On-Policy Distillation [55.0530106449001]
教師付き微調整(SFT)、強化学習(RLVR)、オンライン蒸留(OPD)を5つの事前訓練モデルと多様な教師源で比較した。
RLVR教育を受けた教師の生徒は、事前能力を維持しながら目標課題を改善する一方、SFT訓練を受けた教師の生徒は能力損失が大きい。
制御された教師比較は、教師がポストトレーニングを通じて取得するタスク固有の嗜好が、生徒のアップデートをドメイン内でより集中させることを示している。
論文 参考訳(メタデータ) (2026-10-19T01:51:24Z) - Residual Advantage: Student-Relative Teacher Guidance for RL with Verifiable Rewards [8.349684624753847]
残留アドバンテージ (Residual Advantage, RA) は教師の確率残差を1段階の有界報酬として扱う。
さらにCoRAは、同じスコアの学生バッチ上でバリデーションの利点で教師のLoRAを更新し、更新された教師を次のイテレーションの残余で使用する。
Qwen3-1.7B-BaseとQwen3-4B-Baseの学生とQwen3-8Bの教師によって、RAはGRPOやREINFORCE++と組み合わせて、基礎となるシーケンシャルアドバンテージアルゴリズムを全24比較で改善する。
論文 参考訳(メタデータ) (2026-10-08T08:52:55Z) - How Should Teachers Be Prepared? RL on Student-Induced States for On-Policy Distillation [16.233057265893994]
本稿では, 蒸留前の強化学習を用いて, 生徒の既存の推論状態に適応するように教師を訓練するPrep-OPDを提案する。
Qwen3-4B-Instruct-2507を教師とし、Qwen3-0.6BとQwen3-1.7Bを学生として用いた。
論文 参考訳(メタデータ) (2026-10-04T04:49:24Z) - Calibrating Teacher--Student Discrepancy for On-Policy Distillation [8.81918848570085]
bfCalibrated On-Policy Distillation (Cal-OPD)を導入する。
数学的推論ベンチマークの実験では、Cal-OPDは標準PDとモデルスケールのバリエーションを一貫して上回っている。
論文 参考訳(メタデータ) (2026-09-18T11:00:44Z) - Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。
ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。
プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
論文 参考訳(メタデータ) (2026-06-16T17:46:02Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳(メタデータ) (2026-05-29T04:39:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。