論文の概要: Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement

• arxiv url: http://arxiv.org/abs/2608.31046v1
• Date: Mon, 31 Aug 2026 16:22:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.50509
• Title: Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement
• Title（参考訳）: オンライン蒸留は本当に希薄か? うるさい教師から自己改善まで
• Abstract要約: オンライン蒸留(OPD)は、証明可能な報酬(RLVR)による強化学習の希薄な結果レベルの利点の代替として、高密度トークンレベルの監督を提供する。 我々は,OPD訓練中の教師の指導を定量的に分析し,教師の規模で有意な雑音が増大することを示した。 学習は低ログ確率トークンに焦点を合わせ, 教師が提案したトークンの性能に一致した1つの負の優位性を用いる。
• 参考スコア（独自算出の注目度）: 27.122890248991556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) offers dense token-level supervision as an alternative to the sparse outcome-level advantages of reinforcement learning with verifiable rewards (RLVR). However, the teacher scores student-generated trajectories that are inherently off-policy for it, so the reliability of its supervision, and hence the source of the student's improvement, remains unclear. We quantitatively analyze teacher supervision during OPD training and find substantial noise whose prevalence increases with teacher scale. Surprisingly, the student policy is insensitive to such noise, converging to comparable performance regardless of whether noisy supervision is retained or removed. Does OPD distill at all? By analyzing what drives its gains, we find that learning concentrates on low log-probability tokens, and using a single fixed negative advantage matches the performance of teacher-provided ones. This suggests that OPD works largely by suppressing low log-probability tokens, which requires no teacher. These findings motivate On-Policy Self-Adaptation (OPSA), a supervision-free method using entropy-adaptive negative advantages. It assigns stronger learning signals to high-entropy positions, suppressing tail tokens, and evenly redistributing probability mass among head tokens. Compared with the base \texttt{Qwen3-1.7B}, OPSA improves Avg@32 by 35.41 points on AIME24, corresponding to a 263\% relative gain, and more than doubles Pass@32 across all three benchmarks. It also outperforms OPD by 16.77 points in Avg@32 on AIME24. Extensive experiments and analyses across model families and tasks further demonstrate its effectiveness and generalizability.
• Abstract（参考訳）: オンライン蒸留(OPD)は、証明可能な報酬(RLVR)による強化学習のスパースな結果レベルの利点の代替として、密集したトークンレベルの監督を提供する。 しかし、教師は、本来は政治に反する学生が生み出した軌跡を採点し、その監督の信頼性と、それによる改善の源泉は、いまだに不明である。 我々は,OPD訓練中の教師の指導を定量的に分析し,教師の規模で有意な雑音が増大することを示した。 驚いたことに、学生の政策は騒音に敏感であり、ノイズの監督が維持されるか除去されるかにかかわらず、同等のパフォーマンスに収束する。 OPDは、まったく蒸留しませんか。 この結果から,低ログ確率トークンに学習が集中していることが判明した。 このことは、OPDが主に低ログ確率トークンを抑えることで機能し、教師を必要としないことを示唆している。 これらの知見は, エントロピー適応性負の利点を用いた監督自由法であるOn-Policy Self-Adaptation (OPSA) を動機付けている。 より強力な学習信号を高エントロピー位置に割り当て、テールトークンを抑圧し、ヘッドトークン間の確率質量を均等に再分配する。 ベースである texttt{Qwen3-1.7B} と比較すると、OPSA は AIME24 上で Avg@32 を 35.41 に改善し、263\% の相対的なゲインに対応し、3つのベンチマークで Pass@32 を倍増させた。 また、AIME24ではAvg@32でOPDを16.77ポイント上回っている。 モデルファミリーとタスクにわたる広範な実験と分析は、その有効性と一般化可能性をさらに証明している。

関連論文リスト

• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Visual Contrastive Self-Distillation [61.298159957622886]
  本稿では,視覚的コントラスト自己蒸留法を提案する。 これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
  論文  参考訳（メタデータ） (2026-07-23T17:37:37Z)
• On the Position Bias of On-Policy Distillation [19.36735875165262]
  IW-OPD (Importance-Weighted On-Policy Distillation) は, OPD (On-Policy Distillation) よりもはるかに早く収束することを示す。 IW-OPDは、同じサイズとクロススケールの両方で標準のPDよりも優れた最終性能を実現し、AIME-2025では6.9ポイントまで性能が向上した。
  論文  参考訳（メタデータ） (2026-06-21T17:20:21Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Skill-Conditioned Gated Self-Distillation for LLM Reasoning [22.02868419200851]
  SD(On-policy Self-distillation)は、教師側特権情報(PI)を用いて、スパース検証結果を高密度トークンレベルの監視に変換することにより、LCM推論を改善する。 本研究では,非条件模擬ではなく,教師の仮説検証としてスキルベースSDを定式化するスキルコンディション付きゲート型自己蒸留(SGSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-27T17:49:52Z)
• When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
  On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。 既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。 そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-05-20T18:14:03Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。