What Does Privileged Information Add to On-Policy Self-Distillation?
Abstractの概要
本論文は、クロスモード蒸留自体のベースラインの向上を超えて、特権情報（PI）がオンポリシー自己蒸留（OPSD）にどの程度寄与しているかを調査しています。これらの効果を分離するため、著者らはAnswer OnlyからFull Traceまでの6つの回答一致型推論ビューを備えた5,319問の数学問題スイートであるAMPLE-Mathを開発しました。思考が有効化された固定教師モデルを用いて生徒のロールアウトを教師あり学習させ、Qwen3-1.7BおよびSmolLM3-3Bのチェックポイントにわたって生徒の性能を評価しています。その結果、参照なしの蒸留でも大幅な向上が見られ、特権的な参照情報はモデル依存で変動する付加的利点をもたらすことが明らかになりました。さらに、教師と生徒のダイナミクスから、指導の有効性はトークンレベルの損失調整単体ではなく、生徒の応答軌跡と訓練期間に大きく依存することが示されています。
新規性
本研究は、OPSDにおけるベースラインのクロスモード蒸留の利点と、特権的な教師参照情報の付加価値とを切り分けるための厳密な実験フレームワークを導入しています。また、正解を一定に保ちながら推論密度を評価するために、1問題あたり6つの監査済みで回答が一致した推論表現を提供するデータセットであるAMPLE-Mathを構築しました。
成果
Qwen3-1.7Bでは、思考有効化評価において参照なしのクロスモード蒸留が性能向上の大部分を占め、Clean Solutionはステップ100において1.30ポイントのわずかな追加優位性をもたらすにとどまりました。SmolLM3-3Bでは、ステップ50でFull Traceが参照なしベースラインより2.0ポイント上乗せしたものの、ステップ100までにはすべての構成でベースモデルを下回る水準に悪化しました。両モデルファミリーにおいて、直接応答の訓練ロールアウトを思考有効化ロールアウトに置き換えると、同一の評価設定下で向上分が性能低下へと逆転しました。
論文の注目点
- AMPLE-Mathは、教師の指導に対する参照推論形式の影響を分離するため、6つの回答一致型推論ビューを持つ5,319問の数学問題を提供している。
- OPSDにおける性能向上の主要な部分は、完全な解答トレースへのアクセスではなく、直接応答ロールアウトと思考有効化教師スコアリングとの間のクロスモード蒸留に起因している。
- 生徒のロールアウトを直接応答から思考有効化軌跡に切り替えると蒸留による向上が逆転し、トークンレベルの損失介入は損失カバレッジの見かけ上の利点が主に早期打ち切りに起因することを示している。
参考リンク
- arXiv: https://arxiv.org/abs/2609.20612v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.20612v1
- Hugging Face Papers: https://huggingface.co/papers/2609.20612
- GitHub: https://github.com/xiuyuz/opsd-reference-study
- Hugging Face: https://huggingface.co/datasets/xiuyuz/ample-math