論文の概要: Distilling What Matters: Confidence-Aware Selective Distillation for Large Language Models

• arxiv url: http://arxiv.org/abs/2609.36734v1
• Date: Tue, 29 Sep 2026 05:07:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.200877
• Title: Distilling What Matters: Confidence-Aware Selective Distillation for Large Language Models
• Title（参考訳）: 重要事項の蒸留:大規模言語モデルに対する信頼度を考慮した選択蒸留
• Abstract要約: CaRE-KDは、静的な目的を不確実性適応最適化に置き換える、信頼性の高い蒸留フレームワークである。 本稿では,CaRE-KDが事前の静的発散を再現できない条件キャリブレーション機構をいかに誘導するかを示す。 ハイライトには、命令追従タスクの平均ROUGE-L$+3.2$、MBPPで$+2.1$pass@1、GSM8kで$+1.7$、CollegeMathで$+1.8$の精度がある。
• 参考スコア（独自算出の注目度）: 22.98826013817833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Distillation (KD) trains a smaller-capacity student model to imitate a larger-capacity teacher model by matching output distributions, implicitly assuming the teacher to be a reliable oracle. In large language models (LLMs), this assumption often fails: teacher predictions can exhibit high entropy and hallucinations, causing standard KD to degrade well-calibrated student priors. We propose CaRE-KD, a confidence-gated distillation framework that replaces static objectives with uncertainty-adaptive optimization. CaRE-KD has two components: a token-level loss (CaRE-Divergence) that adaptively switches between Forward and Reverse KL divergence based on teacher--student confidence, and a batch-level epistemic rejection mechanism (Revival) that suppresses updates when the teacher is more uncertain than the student. We provide a gradient-level analysis showing how this dual-granularity design induces a conditional calibration mechanism that prior static divergences cannot reproduce. Empirically, across eight teacher--student pairs and eleven benchmarks spanning instruction following, chat alignment, code generation, and mathematical reasoning, CaRE-KD delivers consistent gains over strong baselines (Skewed-KL, $α$--$β$ divergence). Highlights include up to $+3.2$ average ROUGE-L on instruction-following tasks, $+2.1$ pass@1 on MBPP, $+1.7$ accuracy on GSM8k, and $+1.8$ accuracy on CollegeMath over the strongest baseline, with consistent gains in LLM-as-a-judge factuality (up to $+2.5$ per task over Skewed-RKL). Revival further acts as a principled, loss-agnostic plug-in that systematically strengthens existing distillation objectives by filtering epistemically unreliable teacher supervision.
• Abstract（参考訳）: 知識蒸留(KD)は、教師が信頼できる神託であると暗黙的に仮定して、出力分布を一致させることで、より大きな能力を持つ教師モデルを模倣するために、小容量の学生モデルを訓練する。 教師の予測は高いエントロピーと幻覚を示し、標準のKDはよく校正された学生の優先順位を低下させる。 本稿では, 静的な目的を不確実性適応最適化に置き換える, 信頼性の高い蒸留フレームワークCaRE-KDを提案する。 CaRE-KDは、教師の信頼度に基づいて、フォワードとリバースKLの分岐を適応的に切り替えるトークンレベルの損失(CaRE-Divergence)と、教師が学生よりも不確実であるときに更新を抑制するバッチレベルのエピステミック拒絶機構(Revival)の2つのコンポーネントを備えている。 本稿では, この二重粒度設計が, 事前の静的発散を再現できない条件付きキャリブレーション機構をいかに誘導するかを, 勾配レベルで解析する。 経験的に、8人の教師-学生ペアと11のベンチマークは、次の命令、チャットアライメント、コード生成、数学的推論にまたがっているが、CaRE-KDは強力なベースライン(Skewed-KL, $α$--$β$ divergence)よりも一貫したゲインを提供する。 ハイライトには、命令追従タスクの平均ROUGE-L$+3.2$、MBPP$+2.1$pass@1、GSM8k$+1.7$、LLM-as-a-judge事実性(Skewed-RKL上のタスク当たり最大2.5$)が一貫した利得がある。 リバイバルはさらに、教師の監督をフィルターすることで、既存の蒸留目標を体系的に強化する原則的、損失に依存しないプラグインとして機能する。

関連論文リスト

• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency [0.0]
  本稿では、ロバスト統計に基づく原則化されたフレームワークであるREDistillを紹介する。 レディスティルは標準のKD目標をKL分散の一般化であるパワー分散損失に置き換える。 CIFAR-100 と ImageNet-1k の実験では、REDistill は多様な教師/学生アーキテクチャにおける生徒の精度を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-02-04T15:50:53Z)
• SGD-Based Knowledge Distillation with Bayesian Teachers: Theory and Guidelines [82.00660447875266]
  知識蒸留(英: Knowledge Distillation, KD)は、大きな教師ネットワークから、しばしばソフト確率出力を利用して、より小さな学生モデルに知識を伝達する中心的なパラダイムである。 グラディエント・Descent (SGD) を訓練した学生の収束行動の厳密に分析する。 分析の結果,BCPからの学習は分散の低減と収束境界の近傍項の除去に寄与することがわかった。 これらの知見に触発されて、我々は、通常、KDの教師として、BCPの見積もりを改善するベイズ深層学習モデルの使用を提唱する。
  論文  参考訳（メタデータ） (2026-01-04T11:09:49Z)
• Biased Teacher, Balanced Student [0.0]
  Long-Tailed Knowledge Distillation (LTKD)は、クラス不均衡シナリオに適した新しいフレームワークである。 CIFAR-100-LT、TinyImageNet-LT、ImageNet-LTの実験は、LTKDが既存のKDメソッドより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2025-06-23T10:46:44Z)
• PLD: A Choice-Theoretic List-Wise Knowledge Distillation [12.52282972328311]
  リストのランク付けを重み付けした "Plackett-Luce Distillation (PLD)" を導入する。 PLDは多様なアーキテクチャや蒸留目標に対して一貫した利益を達成する。
  論文  参考訳（メタデータ） (2025-06-14T15:31:54Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。