論文の概要: Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall

• arxiv url: http://arxiv.org/abs/2609.01532v1
• Date: Tue, 01 Sep 2026 17:00:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.885379
• Title: Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall
• Title（参考訳）: ファクチュアルリコールにかかわる中学期の知識蒸留
• Authors: Jacqueline He, Howard Yen, Shuyue Stella Li, Margaret Li, Hanqing Zeng, Yinglong Xia, Benyu Zhang, Zhuokai Zhao, Qiang Zhang, Pang Wei Koh, Luke Zettlemoyer, Wen-tau Yih,
• Abstract要約: 教師が自信を持つトークンを蒸留する簡易な中間訓練目的であるスイッチ蒸留を提案する。 標準的なNTPとは対照的に、推論性能は1.61-1.71x、知識と常識性能は1.13-1.19xである。
• 参考スコア（独自算出の注目度）: 79.59596652272923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Logit-based knowledge distillation (KD) is used to train smaller language models (LMs) via supervision from stronger teachers, but whether its benefits are consistent across training stages remains unclear. Through controlled experiments, we find that forward Kullback-Leibler (KL) distillation--the standard KD formulation--with post-trained teachers behaves fundamentally differently during mid-training, an intermediate phase of self-supervised learning on curated corpora. Surprisingly, while forward KD simultaneously improves reasoning and factual recall during pre-training relative to standard next-token prediction (NTP), it instead slows factual recall acquisition during mid-training despite continued reasoning gains. We trace this stage dependence to an asymmetry in teacher confidence across data domains and the student's evolving knowledge state: teachers are more confident on procedural than knowledge-intensive data, while students acquire low-entropy factual knowledge earlier in training. To mitigate this imbalance, we propose Switch Distillation, a simple mid-training objective that distills on tokens where the teacher is confident, using teacher predictive entropy as a lightweight routing signal, and otherwise falls back to cross-entropy. Switch Distillation consistently outperforms existing distillation objectives across teacher sizes. Relative to standard NTP, it achieves 1.61-1.71x the reasoning performance and 1.13-1.19x the knowledge and commonsense performance while preserving 96.7-96.8% of factual recall. Crucially, these benefits persist after post-training: Switch Distillation closes the factual recall gap while maintaining 1.25-1.32x and 1.13-1.20x gains in reasoning and knowledge and commonsense, respectively.
• Abstract（参考訳）: ログベースの知識蒸留(KD)は、より強力な教師の監督を通じて、より小さな言語モデル(LM)を訓練するために使用されるが、その利点が訓練段階間で一貫性があるかどうかは不明だ。 制御実験により, 訓練後教師と標準KDの蒸留は, コーパスの自己教師型学習の中間段階である中等教育において, 基本的に異なる振る舞いをすることがわかった。 意外なことに、KDは標準の次世代予測(NTP)と比較して、事前トレーニング中の推論と事実リコールを同時に改善する一方で、推論が継続しているにもかかわらず、トレーニング中の事実リコールの獲得を遅らせる。 教師は、知識集約的なデータよりも手続き的なデータに自信を持ち、学生は、訓練の早い段階で、低エントロピーの事実知識を取得する。 この不均衡を緩和するために,教師が自信を持つトークンを蒸留し,教師の予測エントロピーを軽量なルーティング信号として利用し,そうでなければクロスエントロピーにフォールバックする,シンプルな中等教育目標であるスイッチ蒸留を提案する。 スイッチ蒸留は教師の規模で既存の蒸留目標を上回っている。 NTPとは対照的に、推理性能は1.61-1.71x、知識と常識性能は1.13-1.19x、実写リコールは96.7-96.8%である。 スイッチ蒸留は、それぞれ推論と知識と常識において 1.25-1.32x と 1.13-1.20x の利得を維持しながら、実際のリコールギャップを閉じる。

関連論文リスト

• From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents [16.67357658768852]
  我々は,OVCSD(Outcome-Verified Comparison Self-Distillation)を提案する。 OVCSDは失敗に終わった学生をプレフィックスツリーに配置し、学生が設定した状態からスキル条件の教師を適応的に呼び出す。 3つのモデルスケールにわたるALFWorldとWebShopの実験は、OVCSDがスキルのないRLと既存の自己蒸留ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-07-30T09:47:58Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• Explain in Your Own Words: Improving Reasoning via Token-Selective Dual Knowledge Distillation [4.517380184758914]
  Token-Selective Dual Knowledge Distillation (TSD-KD) は、学生中心の蒸留の枠組みである。 TSD-KDは、推論のために重要なトークンを蒸留することに焦点を当て、学生に自身の言葉で推論を説明するよう促す。
  論文  参考訳（メタデータ） (2026-02-25T09:58:49Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• Toward Student-Oriented Teacher Network Training For Knowledge Distillation [40.55715466657349]
  本稿では,リプシッツ正則化と整合性正則化を取り入れた教員養成手法SoTeacherを提案する。 様々な知識蒸留アルゴリズムと教師と学生のペアを用いたベンチマークデータセットの実験は、SoTeacherが生徒の精度を一貫して改善できることを確認した。
  論文  参考訳（メタデータ） (2022-06-14T07:51:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。