論文の概要: Knowledge Distillation Must Account for What It Loses

• arxiv url: http://arxiv.org/abs/2604.25110v1
• Date: Tue, 28 Apr 2026 01:32:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.652383
• Title: Knowledge Distillation Must Account for What It Loses
• Title（参考訳）: 失うものについて知識蒸留は考慮しなければなりません
• Authors: Wenshuo Wang,
• Abstract要約: 学生モデルは、保持されたタスクスコアだけでなく、それらのスコアを信頼できるものにする教師の能力を維持することによって判断されるべきである。 これは、蒸留が大規模でフロンティアなモデルを展開可能なシステムに変えるのにますます使われているためである。 本研究は,教師の態度を忠実に再現するのではなく,教師の行動の損失予測として,現在の評価と再フレーム蒸留の背景にある保持仮定を同定する。 そこで本研究では, シナリオ固有の保存目標と, 保存されたもの, 失われたもの, 残る損失が許容される理由を報告する蒸留損失ステートメントを提案する。
• 参考スコア（独自算出の注目度）: 3.0001636668817597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This position paper argues that knowledge distillation must account for what it loses: student models should be judged not only by retained task scores, but by whether they preserve the teacher capabilities that make those scores reliable. This matters because distillation is increasingly used to turn large, often frontier models into deployable systems, yet headline metrics can hide losses in uncertainty, boundary behavior, process reliability, on-policy stability, grounding, privacy, safety, and diversity. We identify the retention assumption behind current evaluation and reframe distillation as a lossy projection of teacher behavior rather than a faithful copy. We then synthesize existing evidence into a taxonomy of off-metric distillation losses, showing that these losses are concrete, recurring, and measurable. To make the position actionable, we propose scenario-specific preservation targets and a Distillation Loss Statement that reports what was preserved, what was lost, and why the remaining losses are acceptable. The goal is not lossless distillation, but accountable distillation.
• Abstract（参考訳）: このポジションペーパーは、知識の蒸留が失うものを説明する必要があると主張している。学生モデルは、保持されたタスクスコアだけでなく、それらのスコアを信頼できるものにする教師の能力の維持によって判断されるべきである。 これは、蒸留が大規模でフロンティアなモデルをデプロイ可能なシステムに変えるのにますます使われているためである。しかし、見出しのメトリクスは不確実性、境界挙動、プロセスの信頼性、オン・ポリティクスの安定性、接地、プライバシー、安全性、多様性の損失を隠蔽する可能性がある。 本研究は,教師の態度を忠実に再現するのではなく,教師の行動の損失予測として,現在の評価と再フレーム蒸留の背景にある保持仮定を同定する。 次に, 既存の証拠をオフメトリック蒸留損失の分類に合成し, これらの損失が具体的かつ繰り返し, 測定可能であることを示す。 そこで本研究では, シナリオ固有の保存目標と, 保存されたもの, 失われたもの, 残る損失が許容される理由を報告する蒸留損失ステートメントを提案する。 目的は、損失のない蒸留ではなく、説明可能な蒸留である。

関連論文リスト

• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Knowledge Distillation with Refined Logits [31.205248790623703]
  本稿では,現在のロジット蒸留法の限界に対処するため,Refined Logit Distillation (RLD)を導入する。 我々のアプローチは、高性能な教師モデルでさえ誤った予測をすることができるという観察に動機づけられている。 本手法は,教師からの誤解を招く情報を,重要なクラス相関を保ちながら効果的に排除することができる。
  論文  参考訳（メタデータ） (2024-08-14T17:59:32Z)
• Confidence Preservation Property in Knowledge Distillation Abstractions [2.9370710299422598]
  ソーシャルメディアプラットフォームは、投稿やコメントの有害な内容を検出することによって悪意ある活動を防ぐ。 感情分析とコンテンツ理解のために、大規模なディープニューラルネットワークモデルを採用している。 BERTのようないくつかのモデルは複雑で、多くのパラメータを持ち、運用やメンテナンスに費用がかかる。 産業専門家は知識蒸留圧縮技術を用いて、蒸留されたモデルを訓練し、元のモデルの分類挙動を再現する。
  論文  参考訳（メタデータ） (2024-01-21T01:37:25Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。