論文の概要: Strong Teacher Not Needed? On Distillation in LLM Pretraining
- arxiv url: http://arxiv.org/abs/2605.23857v1
- Date: Fri, 22 May 2026 17:16:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.440651
- Title: Strong Teacher Not Needed? On Distillation in LLM Pretraining
- Title（参考訳）: 強い教師は不要か : LLMプレトレーニングにおける蒸留について
- Authors: Taiming Lu, Zhuang Liu,
- Abstract要約: 知識蒸留は、より強い教師がより良い学生を生み出す、強弱の関係を前提としている。
私たちは、弱弱で、同レベルで、弱弱な教師-学生関係を作ります。
言語モデリングと知識蒸留の損失を適切に混合することで、小規模で訓練を受けていない教師でさえ、より大きな学生を改善できる。
- 参考スコア（独自算出の注目度）: 6.189756677332433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge distillation generally assumes a strong-to-weak relationship where stronger teachers yield better students. In this work, we examine this assumption about distillation in large language model pretraining. By varying architecture sizes and training token budgets, we create strong-to-weak, same-level, and weak-to-strong teacher-student relationships, and study distillation's effectiveness under each. We find that the teacher need not be strong: with proper mixing of the language modeling and knowledge distillation losses, even small and undertrained teachers improve larger students. At the same time, a stronger teacher is not always better: pushing the teacher further, through more parameters or more training tokens, can saturate or even reverse the distillation gains. We further observe that distillation improves generalization (out-of-distribution and downstream performance) more readily than in-domain fitting. Together, these results challenge the common belief that distillation pretraining always requires a strong teacher.
- Abstract（参考訳）: 知識蒸留は一般的に、より強い教師がより良い学生を生み出す、強弱の関係を前提としている。
本研究では,大規模言語モデルの事前学習における蒸留に関するこの仮定について検討する。
建築規模や訓練用トークンの予算によって, 強い弱さ, 同一レベル, 弱弱な教師-学生関係を創出し, 蒸留の有効性について検討する。
言語モデリングと知識蒸留の損失を適切に混合することで、小規模で訓練を受けていない教師でさえ、より大きな学生を改善できる。
それと同時に、より強い教師は必ずしも良いとは限らない: より多くのパラメータやより多くの訓練トークンを通じて、教師をさらに押し進めることで、蒸留の利得を飽和させたり、逆にしたりすることができる。
さらに,蒸留により,ドメイン内適合よりも一般化(アウト・オブ・ディストリビューションおよび下流性能)が容易に向上することが観察された。
これらの結果は、蒸留前訓練が常に強い教師を必要とするという共通の信念に異議を唱えるものである。
関連論文リスト
- Distillation Scaling Laws [9.828322497230053]
本稿では, 計算予算に基づく蒸留モデルの性能推定法と, 学生と教師の配分法を提案する。
本研究は, 大規模蒸留に伴うリスクを軽減し, 教員と学生の計算最適配分を可能にした。
論文 参考訳（メタデータ） (2025-02-12T17:52:47Z) - UNIC: Universal Classification Models via Multi-teacher Distillation [29.299698704883813]
我々は、いくつかの補完的な事前訓練されたモデルから得られるユニークなエンコーダを学ぼうとしている。
このようなエンコーダをマルチティーチンガー蒸留により学習することを提案する。
論文 参考訳（メタデータ） (2024-08-09T14:18:57Z) - Tailoring Instructions to Student's Learning Levels Boosts Knowledge Distillation [52.53446712834569]
LGTM(Learning Good Teacher Matters)は,教師の学習プロセスに蒸留の影響を組み込むための効果的な訓練手法である。
我々のLGTMはGLUEベンチマークで6つのテキスト分類タスクに基づいて10の共通知識蒸留基準を上回ります。
論文 参考訳（メタデータ） (2023-05-16T17:50:09Z) - On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。
教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
論文 参考訳（メタデータ） (2023-01-30T14:25:02Z) - PROD: Progressive Distillation for Dense Retrieval [65.83300173604384]
良質な教師モデルでは,教師と生徒の間には不可解なギャップがあるため,蒸留によって悪い生徒が生まれることが一般的である。
本稿では,高密度検索のためのプログレッシブ蒸留法であるPRDを提案する。
論文 参考訳（メタデータ） (2022-09-27T12:40:29Z) - Does Knowledge Distillation Really Work? [106.38447017262183]
知識蒸留は学生の一般化を改善することができるが、一般的に理解されているようには機能しない。
学生が教師に合わない理由として,最適化の難しさがあげられる。
論文 参考訳（メタデータ） (2021-06-10T17:44:02Z) - Distilling Knowledge via Intermediate Classifier Heads [0.5584060970507505]
知識蒸留は、事前訓練されたより大きな教師モデルのガイドを用いて、リソース限定の学生モデルを訓練するためのトランスファーラーニングアプローチである。
キャパシティギャップの影響を軽減するため,中間頭部による知識蒸留を導入する。
種々の教師と学生のペアとデータセットに関する実験により,提案手法が標準知識蒸留法よりも優れていることを示した。
論文 参考訳（メタデータ） (2021-02-28T12:52:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。