論文の概要: Knowledge Distillation Must Account for What It Loses

• arxiv url: http://arxiv.org/abs/2604.25110v2
• Date: Tue, 05 May 2026 18:12:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 15:17:35.533421
• Title: Knowledge Distillation Must Account for What It Loses
• Title（参考訳）: 失うものについて知識蒸留は考慮しなければなりません
• Authors: Wenshuo Wang,
• Abstract要約: 現状の評価では,教師の能力が維持されることが想定されることが多い。 生徒は、選択した教師のオブザーバブルと、信頼性を保たずに一致させることができる。 シナリオ固有の保存目標と,保存されたもの,失ったもの,残存する損失が許容される理由を報告する蒸留損失ステートメントを提案する。
• 参考スコア（独自算出の注目度）: 3.0001636668817597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This position paper argues that knowledge distillation must account for what it loses: student models should be judged not only by retained task scores, but by whether they preserve the teacher capabilities that make those scores reliable. This matters because distillation is increasingly used to turn large teacher models into deployable students, yet headline metrics can obscure losses in the capabilities that make teacher behavior reliable. Conceptually, we show that current evaluation often assumes retained task scores imply retained teacher capabilities. Reframing distillation as a lossy projection exposes this flaw: students may match selected teacher observables without preserving the capabilities that make them reliable. We then synthesize existing evidence into a taxonomy of off-metric distillation losses, showing that such losses are concrete, recurring, and measurable, yet often unaccounted for when studies report what students retain rather than what they lose. To make the position actionable, we propose scenario-specific preservation targets and a Distillation Loss Statement that reports what was preserved, what was lost, and why the remaining losses are acceptable. The goal is not lossless distillation, but accountable distillation.
• Abstract（参考訳）: このポジションペーパーは、知識の蒸留が失うものを説明する必要があると主張している。学生モデルは、保持されたタスクスコアだけでなく、それらのスコアを信頼できるものにする教師の能力の維持によって判断されるべきである。 これは、蒸留が大規模な教師モデルを展開可能な学生に変えるのにますます使われているためであるが、ヘッドラインの指標は教師の行動の信頼性を損なう可能性があるためである。 概念的には、現在の評価では、保持された課題スコアが教師の能力を保持すると仮定されることがしばしばある。 学生は、信頼性を保たずに、選択した教師の可観測物にマッチする可能性がある。 そして、既存の証拠をオフメトリック蒸留損失の分類に合成し、そのような損失が具体的であり、繰り返しであり、測定可能であることを示す。 そこで本研究では, シナリオ固有の保存目標と, 保存されたもの, 失われたもの, 残る損失が許容される理由を報告する蒸留損失ステートメントを提案する。 目的は、損失のない蒸留ではなく、説明可能な蒸留である。

関連論文リスト

• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Knowledge Distillation with Refined Logits [31.205248790623703]
  本稿では,現在のロジット蒸留法の限界に対処するため,Refined Logit Distillation (RLD)を導入する。 我々のアプローチは、高性能な教師モデルでさえ誤った予測をすることができるという観察に動機づけられている。 本手法は,教師からの誤解を招く情報を,重要なクラス相関を保ちながら効果的に排除することができる。
  論文  参考訳（メタデータ） (2024-08-14T17:59:32Z)
• Confidence Preservation Property in Knowledge Distillation Abstractions [2.9370710299422598]
  ソーシャルメディアプラットフォームは、投稿やコメントの有害な内容を検出することによって悪意ある活動を防ぐ。 感情分析とコンテンツ理解のために、大規模なディープニューラルネットワークモデルを採用している。 BERTのようないくつかのモデルは複雑で、多くのパラメータを持ち、運用やメンテナンスに費用がかかる。 産業専門家は知識蒸留圧縮技術を用いて、蒸留されたモデルを訓練し、元のモデルの分類挙動を再現する。
  論文  参考訳（メタデータ） (2024-01-21T01:37:25Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。