論文の概要: Effective Teacher Support for Reasoning Distillation
- arxiv url: http://arxiv.org/abs/2611.14850v1
- Date: Wed, 11 Nov 2026 00:00:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.968966
- Title: Effective Teacher Support for Reasoning Distillation
- Title(参考訳): 共沸蒸留のための効果的な教員支援
- Abstract要約: フォワード-KL言語モデル蒸留は教師と生徒の高密度なスコアを教師付き位置ごとにフル語彙で計算する。
その代わり、教師の最高確率語彙から蒸留し、100%から0.01%まで維持質量を再調整する。
主にMMLU-ProとGPQA-Diamondで生成を評価した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Forward-KL language-model distillation normally computes dense teacher and student scores over the full vocabulary at every supervised position, making training and stored teacher targets expensive. We instead distill from the teacher's highest-probability vocabulary fraction, renormalizing the retained mass as we sweep support from 100% to 0.01%. Our main study distills Qwen3 4B -> 1.7B. We confirm the broader support-reduction finding on larger Qwen3 8B -> 4B and Nemotron Nano 12B -> 9B pairs and under answer-only supervision. We evaluate generation primarily on MMLU-Pro and secondarily on GPQA-Diamond. Across the Qwen3 settings, retaining 0.01% of the vocabulary causes no observed MMLU-Pro degradation relative to full-vocabulary distillation, although disagreement with the complete teacher distribution increases. Nemotron Nano matches full-vocabulary MMLU-Pro at 0.1%, but smaller fractions fail to emit the closing reasoning tag, showing that the reliable cutoff depends on the model family. At 0.01% support, caching the retained next-token scores from the teacher forward pass cuts training step time by 38%, while restricting student output computation to those tokens cuts peak memory by 24%; neither causes observed MMLU-Pro degradation.
- Abstract(参考訳): フォワード-KL言語モデルの蒸留は通常、教師が監督する全ての位置において、高密度の教師と学生のスコアを計算し、訓練と保存された教師の目標を高価にしている。
その代わり、教師の最高確率語彙から蒸留し、100%から0.01%まで維持質量を再調整する。
本研究はQwen3 4B -> 1.7Bを蒸留する。
より大きなQwen3 8B > 4B と Nemotron Nano 12B の9B ペアについて,回答のみの監視下において,より広範なサポート・リダクションの発見を確認した。
主にMMLU-ProとGPQA-Diamondで生成を評価した。
Qwen3設定全体では、語彙の0.01%を保持すると、フルボキャブラリ蒸留と比較してMMLU-Proの劣化は観測されないが、完全な教師分布とは一致しない。
ネモトロン・ナノはフルボキャブラリMMLU-Proを0.1%で一致させるが、小さな分数ではクローズド推論タグを出力できず、信頼性の高いカットオフはモデルファミリに依存する。
0.01%のサポートで、教師のフォワードパスから保持された次のトーケンスコアをキャッシュすることで、トレーニングのステップ時間を38%削減すると同時に、学生出力の計算をトークンに制限することでピークメモリを24%削減する。
関連論文リスト
- How Much Do Teacher Bridges Matter in Interleaved On-Policy Distillation? [1.9484496199458554]
いくつかのメソッドは教師が書いたセグメントやブリッジを挿入するが、それらのトークンのトレーニング方法には同意しない。
我々は,学生としてQwen3-1.7B,教師としてQwen3-4B-Instruct-2507を用いて同一軌道上の損失,前方KL,逆KLを比較した。
論文 参考訳(メタデータ) (2026-10-28T07:19:32Z) - Right On Q: Recovering Reasoning under Quantization via Self-Generated Trajectories [31.82130967925359]
量子化対応トレーニングは、低ビットの大規模言語モデルにおける推論能力を回復することを目的としている。
既存のレシピは、典型的には、固定された応答シーケンス上の元の完全精度モデルで量子化された学生を監督する。
本報告では, オンライン蒸留と候補ワイドKLを組み合わせた低ビットリカバリパイプラインOnQを提案する。
論文 参考訳(メタデータ) (2026-10-21T08:03:24Z) - When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better [63.03571783102715]
単純な選択肢であるSemi-OPDは、精度とトレーニング効率の両方でOPDより優れていることがよく示される。
17組の教師と学生のペアで、Semi-OPDは最大で+13.6%の精度と11.4倍のトレーニングスピードアップでPDを上回った。
論文 参考訳(メタデータ) (2026-10-08T05:54:03Z) - How Should Teachers Be Prepared? RL on Student-Induced States for On-Policy Distillation [16.233057265893994]
本稿では, 蒸留前の強化学習を用いて, 生徒の既存の推論状態に適応するように教師を訓練するPrep-OPDを提案する。
Qwen3-4B-Instruct-2507を教師とし、Qwen3-0.6BとQwen3-1.7Bを学生として用いた。
論文 参考訳(メタデータ) (2026-10-04T04:49:24Z) - Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall [79.59596652272923]
教師が自信を持つトークンを蒸留する簡易な中間訓練目的であるスイッチ蒸留を提案する。
標準的なNTPとは対照的に、推論性能は1.61-1.71x、知識と常識性能は1.13-1.19xである。
論文 参考訳(メタデータ) (2026-09-01T17:00:30Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳(メタデータ) (2026-08-01T17:29:14Z) - Better Starts, Better Ends: Bootstrapped Iterative Self-Reasoning Distillation for Compressed Reasoning [27.08087977200613]
BIRD(Bootstrapped Iterative Self-Reasoning Distillation)は、2段階の自己焼成蒸留法である。
まず、簡潔な指示の下でベースモデルから簡潔な解をサンプリングし、答えの正しいトレースのみを保持し、軽量なプロンプトスイッチSFTステップを実行する。
MATH-500 や AIME のベンチマーク上でのオンライン蒸留やコールドスタートよりも高い精度・効率のトレードオフを実現している。
論文 参考訳(メタデータ) (2026-07-17T08:15:35Z) - Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。
ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。
プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
論文 参考訳(メタデータ) (2026-06-16T17:46:02Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳(メタデータ) (2026-05-29T04:39:20Z) - Reliability Gated Multi-Teacher Distillation for Low Resource Abstractive Summarization [0.0]
信頼性を考慮した低資源抽象要約のための多教師知識蒸留について検討した。
EWADは,教師間の合意に基づいて,教師の蒸留と金の監督をルートするトークンレベル機構である。
ロージットレベルのKDが最も信頼性の高いゲインを提供するのに対し、より複雑な蒸留は短いサマリーのセマンティックな類似性を向上するが、より長い出力を劣化させる。
論文 参考訳(メタデータ) (2026-04-03T17:06:51Z) - Teacher's pet: understanding and mitigating biases in distillation [61.44867470297283]
いくつかの研究により、蒸留によって学生の全体的なパフォーマンスが著しく向上することが示されている。
しかし、これらのゲインはすべてのデータサブグループに均一なのでしょうか?
蒸留が特定の部分群の性能に悪影響を及ぼすことを示す。
信頼性の低いサブグループに対して,教師の影響を和らげる手法を提案する。
論文 参考訳(メタデータ) (2021-06-19T13:06:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。