論文の概要: Knowledge Distillation Must Account for What It Loses

• arxiv url: http://arxiv.org/abs/2604.25110v1
• Date: Tue, 28 Apr 2026 01:32:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.652383
• Title: Knowledge Distillation Must Account for What It Loses
• Title（参考訳）: 失うものについて知識蒸留は考慮しなければなりません
• Abstract要約: 学生モデルは、保持されたタスクスコアだけでなく、それらのスコアを信頼できるものにする教師の能力を維持することによって判断されるべきである。 これは、蒸留が大規模でフロンティアなモデルを展開可能なシステムに変えるのにますます使われているためである。 本研究は,教師の態度を忠実に再現するのではなく,教師の行動の損失予測として,現在の評価と再フレーム蒸留の背景にある保持仮定を同定する。 そこで本研究では, シナリオ固有の保存目標と, 保存されたもの, 失われたもの, 残る損失が許容される理由を報告する蒸留損失ステートメントを提案する。
• 参考スコア（独自算出の注目度）: 3.0001636668817597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This position paper argues that knowledge distillation must account for what it loses: student models should be judged not only by retained task scores, but by whether they preserve the teacher capabilities that make those scores reliable. This matters because distillation is increasingly used to turn large, often frontier models into deployable systems, yet headline metrics can hide losses in uncertainty, boundary behavior, process reliability, on-policy stability, grounding, privacy, safety, and diversity. We identify the retention assumption behind current evaluation and reframe distillation as a lossy projection of teacher behavior rather than a faithful copy. We then synthesize existing evidence into a taxonomy of off-metric distillation losses, showing that these losses are concrete, recurring, and measurable. To make the position actionable, we propose scenario-specific preservation targets and a Distillation Loss Statement that reports what was preserved, what was lost, and why the remaining losses are acceptable. The goal is not lossless distillation, but accountable distillation.
• Abstract（参考訳）: このポジションペーパーは、知識の蒸留が失うものを説明する必要があると主張している。学生モデルは、保持されたタスクスコアだけでなく、それらのスコアを信頼できるものにする教師の能力の維持によって判断されるべきである。 これは、蒸留が大規模でフロンティアなモデルをデプロイ可能なシステムに変えるのにますます使われているためである。しかし、見出しのメトリクスは不確実性、境界挙動、プロセスの信頼性、オン・ポリティクスの安定性、接地、プライバシー、安全性、多様性の損失を隠蔽する可能性がある。 本研究は,教師の態度を忠実に再現するのではなく,教師の行動の損失予測として,現在の評価と再フレーム蒸留の背景にある保持仮定を同定する。 次に, 既存の証拠をオフメトリック蒸留損失の分類に合成し, これらの損失が具体的かつ繰り返し, 測定可能であることを示す。 そこで本研究では, シナリオ固有の保存目標と, 保存されたもの, 失われたもの, 残る損失が許容される理由を報告する蒸留損失ステートメントを提案する。 目的は、損失のない蒸留ではなく、説明可能な蒸留である。

関連論文リスト

• Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall [79.59596652272923]
  教師が自信を持つトークンを蒸留する簡易な中間訓練目的であるスイッチ蒸留を提案する。 標準的なNTPとは対照的に、推論性能は1.61-1.71x、知識と常識性能は1.13-1.19xである。
  論文  参考訳（メタデータ） (2026-09-01T17:00:30Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Revisiting the Capacity Gap in Chain-of-Thought Distillation from a Practical Perspective [17.314709291353733]
  思考の連鎖(CoT)蒸留は、強い教師から小さな学生へ推論の振る舞いを伝達する。 蒸留は、教師/学生の能力のミスマッチが大きいと失敗する可能性がある。 我々は、一般的に使用される実験環境を再検討することにより、現実的な視点からキャパシティギャップを再考する。
  論文  参考訳（メタデータ） (2026-04-10T02:39:32Z)
• Knowledge Distillation with Refined Logits [31.205248790623703]
  本稿では,現在のロジット蒸留法の限界に対処するため,Refined Logit Distillation (RLD)を導入する。 我々のアプローチは、高性能な教師モデルでさえ誤った予測をすることができるという観察に動機づけられている。 本手法は,教師からの誤解を招く情報を,重要なクラス相関を保ちながら効果的に排除することができる。
  論文  参考訳（メタデータ） (2024-08-14T17:59:32Z)
• Logit Standardization in Knowledge Distillation [83.31794439964033]
  教師と学生の共用温度の仮定は、ロジット範囲と分散の点で、ロジット間の厳密な一致を暗示している。 温度をロジットの重み付け標準偏差として設定し、ロジット標準化のプラグアンドプレイZスコア前処理を実行することを提案する。 我々の前処理により、学生はマグニチュードマッチを必要とせず、教師の本質的なロジット関係に集中することができ、既存のロジットベースの蒸留法の性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-03-03T07:54:03Z)
• Confidence Preservation Property in Knowledge Distillation Abstractions [2.9370710299422598]
  ソーシャルメディアプラットフォームは、投稿やコメントの有害な内容を検出することによって悪意ある活動を防ぐ。 感情分析とコンテンツ理解のために、大規模なディープニューラルネットワークモデルを採用している。 BERTのようないくつかのモデルは複雑で、多くのパラメータを持ち、運用やメンテナンスに費用がかかる。 産業専門家は知識蒸留圧縮技術を用いて、蒸留されたモデルを訓練し、元のモデルの分類挙動を再現する。
  論文  参考訳（メタデータ） (2024-01-21T01:37:25Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• Random Teachers are Good Teachers [19.74244993871716]
  自己蒸留における教師-学生の学習力学によって引き起こされる暗黙の正規化について検討する。 このような無作為な教師に学生を蒸留する際には,その教師に対して高い精度で蒸留した生徒の強い改善を観察する。
  論文  参考訳（メタデータ） (2023-02-23T15:26:08Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)
• Revisiting Self-Distillation [50.29938732233947]
  自己蒸留とは、大きなモデル(教師)からよりコンパクトなモデル(生徒)に「知識」を移す手順である。 いくつかの作品では、自給自足の生徒が保持されたデータで教師より優れているという逸話がある。 我々は、自己蒸留がより平坦なミニマムをもたらすことを示すための広範な実験を行い、その結果、より良い一般化をもたらす。
  論文  参考訳（メタデータ） (2022-06-17T00:18:51Z)
• Unified and Effective Ensemble Knowledge Distillation [92.67156911466397]
  知識蒸留は、複数の教師モデルから知識を抽出し、それを1人の学生モデルにエンコードする。 既存の多くの手法は、ラベル付きデータのみに基づいて学生モデルを学習し、蒸留する。 本研究では,教師モデルのアンサンブルから,ラベル付きデータとラベルなしデータの両方から単一学生モデルを蒸留する,統一的で効果的なアンサンブル知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T16:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。