Fugu-MT 論文翻訳(概要): LastOPD: Taming Collapse in Latent On-Policy Distillation

論文の概要: LastOPD: Taming Collapse in Latent On-Policy Distillation

arxiv url: http://arxiv.org/abs/2609.28845v1
Date: Wed, 23 Sep 2026 23:22:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-25 21:10:09.604532
Title: LastOPD: Taming Collapse in Latent On-Policy Distillation
Title（参考訳）: LastOPD: 潜伏型on-policy蒸留における崩壊のテーピング
Abstract要約: 我々は,LastOPDを提案する。LastOPDは,最後の層状態,LMヘッドの両方の共通インタフェース,トークンレベルPDへの10ステップのクロスフェード中のみに適用する。これは潜伏信号の有用な部分を保持し、崩壊が起こる前に学生にトークンレベルの監督を任せる。実験の結果、LastOPDは4Bと8Bの教師と5.55点と4.02点のトークンオンリーのPDよりもMATH-500を改善し、ほとんどの保持されたデータセットを導き、トークンオンリーのPDの最終スコアを約半分に到達した。
参考スコア（独自算出の注目度）: 31.27206955259948
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: On-policy distillation (OPD) corrects a student on the responses it writes, but its signal is the teacher's next-token distribution: it tells the student what the teacher says but misses how it thinks. Latent supervision promises the missing part by aligning the student's latent states to the teacher's. Recent methods such as OPRD bring this signal into on-policy distillation. However, we observe two failures of this recipe when distilling Qwen3-4B and Qwen3-8B into Qwen3-1.7B-Base. Early gain, late collapse: latent supervision alone lifts MATH-500 accuracy from 25 to 46 in 10 steps, but subsequent training degrades performance down to 11 with no recovery. Better alignment, worse behavior: although the alignment metric steadily improves throughout this collapse, the most aligned model turns out to be the worst performing. Further analysis suggests a mismatch in how the latent signal is applied: layers paired by depth play different roles in the two models, so continued alignment may pull the student toward teacher states it cannot understand. To address this, we propose LastOPD, which applies the latent signal only at the last-layer state, the common interface both LM heads read, and only during a 10-step crossfade into token-level OPD. This keeps the useful part of the latent signal and hands the student to token-level supervision before the collapse sets in. Extensive experiments show that LastOPD improves MATH-500 over token-only OPD by 5.55 and 4.02 points with the 4B and 8B teachers, leads on most held-out datasets, and reaches the final score of token-only OPD in about half the steps. Code is available at https://github.com/Muyiiiii/LastOPD.
Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、学生が書いた反応を補正するが、そのシグナルは教師の次の話題である。潜伏監督は、学生の潜伏した状態を教師のものと整合させることによって、行方不明な部分を約束する。 OPRDのような最近の方法は、この信号をオン・ポリケート蒸留にもたらす。しかし, Qwen3-4B と Qwen3-8B を Qwen3-1.7B-Base に蒸留する際の2つの失敗を観察した。早期獲得、後期崩壊:潜伏監視単独で10ステップで25から46までMATH-500の精度を引き上げるが、その後のトレーニングでは回復することなく11に低下する。アライメントの基準は、この崩壊を通じて着実に改善されるが、最も整列したモデルは、最悪のパフォーマンスであることが判明した。さらに分析した結果、潜伏信号の応用方法のミスマッチが示唆されている: 奥行きによってペアリングされた層は、2つのモデルで異なる役割を担っているため、継続的なアライメントは、教師が理解できない状態に学生を引き寄せる可能性がある。これを解決するためにLastOPDを提案する。LastOPDは、最後の層状態にのみ潜時信号を適用し、LMヘッドの共通インタフェースを読み取り、トークンレベルPDへの10ステップのクロスフェイド時にのみ適用する。これは潜伏信号の有用な部分を保持し、崩壊が起こる前に学生にトークンレベルの監督を任せる。大規模な実験により、LastOPDはトークンのみのPDよりも5.55点、および4.02点のMATH-500を改良し、4Bと8Bの教師はほとんどの保持されたデータセットを導き、トークンのみのPDの最終スコアを約半分で達成した。コードはhttps://github.com/Muyiiiii/LastOPD.comで入手できる。

論文の概要: LastOPD: Taming Collapse in Latent On-Policy Distillation

関連論文リスト