論文の概要: Consistently Informative Soft-Label Temperature for Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2605.20357v1
• Date: Tue, 19 May 2026 18:11:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.312956
• Title: Consistently Informative Soft-Label Temperature for Knowledge Distillation
• Title（参考訳）: 知識蒸留のための一貫したインフォーム型ソフトラベル温度
• Authors: Hoang-Chau Luong, Nghia Van Vo, Kaiqi Zhao, Lingwei Chen,
• Abstract要約: 知識蒸留(KD)は,その予測分布を一致させて,高能力の教師からコンパクトな学生に知識を伝達する。 標準の固定温度設計は本質的にサンプルに依存しない。 CIST(Consistently Informative Soft-label Temperature)を提案する。
• 参考スコア（独自算出の注目度）: 6.328321206328517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) transfers knowledge from a high-capacity teacher to a compact student by matching their predictive distributions, with temperature scaling serving as a central mechanism for smoothing teacher predictions and exposing informative "dark knowledge" beyond the hard label. However, the standard fixed-temperature design is inherently sample-agnostic. Since samples differ in logit scale and learning difficulty, a single global temperature produces teacher soft labels with highly inconsistent entropy: some predictions remain overly sharp and provide limited inter-class information, whereas others become over-smoothed and lose class-discriminative information. Moreover, sharing the same temperature between teacher and student further imposes rigid logit-scale alignment despite their capacity mismatch. To address these limitations, we propose CIST (Consistently Informative Soft-label Temperature), which assigns separate sample-wise adaptive temperatures to the teacher and student. This design produces consistently informative teacher soft labels while relaxing rigid teacher--student logit-scale matching. It also reweights the distillation objective according to teacher confidence and student learning difficulty. Theoretically, we show that teacher-label entropy is largely governed by the ratio between the maximum teacher logit and the temperature, providing a principled basis for adaptive smoothing. Empirically, CIST mitigates the inconsistency induced by fixed temperature, and experiments on both vision and language distillation tasks show consistent improvements over standard KD and strong baselines with negligible computational overhead.
• Abstract（参考訳）: 知識蒸留(KD)は、教師の予測を円滑にし、ハードラベルを超えて情報的な「暗黒の知識」を明らかにする中心的なメカニズムとして機能し、その予測分布を一致させることにより、高能力の教師からコンパクトな学生に知識を伝達する。 しかし、標準の固定温度設計は本質的にサンプルに依存しない。 サンプルは対数スケールと学習難易度が異なるため、単一のグローバル温度は教師のソフトラベルを非常に一貫性のないエントロピーで生成する。 さらに,教師と生徒の同温度の共有は,能力のミスマッチにも拘わらず,厳格なロジットスケールアライメントを強いる。 これらの制約に対処するため、教師と学生に個別のサンプル単位の適応温度を割り当てるCIST(Consistently Informative Soft-label Temperature)を提案する。 このデザインは、厳密な教師のロジットスケールマッチングを緩和しながら、一貫して情報的な教師のソフトラベルを生成する。 また、教師の自信と生徒の学習難度に応じて蒸留目標を重み付けする。 理論的には、教師-ラベルのエントロピーは、最大教師ロジットと温度の比で大きく支配されており、適応的平滑化の原則的基礎を提供する。 経験的に、CISTは一定の温度によって誘導される矛盾を緩和し、視覚と言語の蒸留タスクの実験は、標準のKDと強いベースラインを無視できる計算オーバーヘッドで一貫した改善を示す。

関連論文リスト

• Dynamic Temperature Knowledge Distillation [9.6046915661065]
  知識蒸留(KD)領域におけるラベルソフトネスの調整における温度の役割 従来のアプローチでは、KDプロセス全体を通して静的な温度を用いることが多い。 本研究では,教師モデルと学生モデルの両方に対して,動的かつ協調的な温度制御を同時に導入する動的温度知識蒸留(DTKD)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T08:40:52Z)
• Logit Standardization in Knowledge Distillation [83.31794439964033]
  教師と学生の共用温度の仮定は、ロジット範囲と分散の点で、ロジット間の厳密な一致を暗示している。 温度をロジットの重み付け標準偏差として設定し、ロジット標準化のプラグアンドプレイZスコア前処理を実行することを提案する。 我々の前処理により、学生はマグニチュードマッチを必要とせず、教師の本質的なロジット関係に集中することができ、既存のロジットベースの蒸留法の性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-03-03T07:54:03Z)
• Cosine Similarity Knowledge Distillation for Individual Class Information Transfer [11.544799404018473]
  本稿では,教師モデルの性能に匹敵する結果が得られる新しい知識蒸留(KD)手法を提案する。 我々は、テキスト埋め込みの類似性を測定するために、自然言語処理(NLP)におけるコサイン類似性(cosine similarity)を用いる。 本研究では,コサイン類似度重み付き温度(CSWT)による性能向上手法を提案する。
  論文  参考訳（メタデータ） (2023-11-24T06:34:47Z)
• Faithful Knowledge Distillation [75.59907631395849]
  i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。 これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
  論文  参考訳（メタデータ） (2023-06-07T13:41:55Z)
• Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
  蒸留した学生の一般化行動について検討する。 この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。 オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
  論文  参考訳（メタデータ） (2023-01-28T16:34:47Z)
• Curriculum Temperature for Knowledge Distillation [30.94721463833605]
  知識蒸留のためのカリキュラム温度(CTKD)と呼ばれるカリキュラムベースの手法を提案する。 CTKDは、動的で学習可能な温度で、学生の学習キャリアにおけるタスクの難易度を制御する。 簡便なプラグイン技術として、CTKDは既存の知識蒸留フレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2022-11-29T14:10:35Z)
• Unified and Effective Ensemble Knowledge Distillation [92.67156911466397]
  知識蒸留は、複数の教師モデルから知識を抽出し、それを1人の学生モデルにエンコードする。 既存の多くの手法は、ラベル付きデータのみに基づいて学生モデルを学習し、蒸留する。 本研究では,教師モデルのアンサンブルから,ラベル付きデータとラベルなしデータの両方から単一学生モデルを蒸留する,統一的で効果的なアンサンブル知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2022-04-01T16:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。