論文の概要: The Role of Teacher Calibration in Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2508.20224v1
• Date: Wed, 27 Aug 2025 19:04:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:01.738378
• Title: The Role of Teacher Calibration in Knowledge Distillation
• Title（参考訳）: 知識蒸留における教員校正の役割
• Authors: Suyoung Kim, Seonguk Park, Junhoo Lee, Nojun Kwak,
• Abstract要約: 知識蒸留(KD)は、ディープラーニングにおいて効果的なモデル圧縮技術として登場した。 教師の校正誤差と生徒の精度との間には強い相関関係が認められた。 我々のアルゴリズムは多用途であり、分類から検出まで様々なタスクで有効性を示す。
• 参考スコア（独自算出の注目度）: 32.58838854162622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Distillation (KD) has emerged as an effective model compression technique in deep learning, enabling the transfer of knowledge from a large teacher model to a compact student model. While KD has demonstrated significant success, it is not yet fully understood which factors contribute to improving the student's performance. In this paper, we reveal a strong correlation between the teacher's calibration error and the student's accuracy. Therefore, we claim that the calibration of the teacher model is an important factor for effective KD. Furthermore, we demonstrate that the performance of KD can be improved by simply employing a calibration method that reduces the teacher's calibration error. Our algorithm is versatile, demonstrating effectiveness across various tasks from classification to detection. Moreover, it can be easily integrated with existing state-of-the-art methods, consistently achieving superior performance.
• Abstract（参考訳）: 知識蒸留(KD)は深層学習における効果的なモデル圧縮手法として登場し、大きな教師モデルからコンパクトな学生モデルへの知識の伝達を可能にしている。 KDは大きな成功を収めているが、どの要因が学生のパフォーマンス向上に寄与するかは、まだ完全には分かっていない。 本稿では,教師の校正誤差と生徒の精度との間に強い相関関係を明らかにする。 そこで我々は,教師モデルの校正がKDの有効化の重要な要因であると主張している。 さらに,教師の校正誤差を低減するキャリブレーション法を用いることで,KDの性能を向上させることができることを示した。 我々のアルゴリズムは多用途であり、分類から検出まで様々なタスクで有効性を示す。 さらに、既存の最先端の手法と容易に統合でき、一貫して優れた性能を実現することができる。

関連論文リスト

• Efficient and Robust Knowledge Distillation from A Stronger Teacher Based on Correlation Matching [0.09999629695552192]
  相関マッチング知識蒸留 (CMKD) 法は, ピアソンとスピアマンの相関係数に基づくKD損失を組み合わせ, より効率的で堅牢な蒸留を実現している。 CMKDはシンプルだが実用的であり、CIRAR-100とImageNetの最先端性能を継続的に達成できることを広範な実験で実証している。
  論文  参考訳（メタデータ） (2024-10-09T05:42:47Z)
• Adaptive Explicit Knowledge Transfer for Knowledge Distillation [17.739979156009696]
  教師モデルから,非目標クラスの確率分布を効果的に提供することにより,ロジットに基づく知識蒸留の性能を向上させることができることを示す。 本研究では,学習者が暗黙的な知識を適応的に学習できる新たな損失を提案する。 実験結果から, 適応的明示的知識伝達法(AEKT)は, 最先端KD法と比較して性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-03T07:42:59Z)
• Revisiting Knowledge Distillation for Autoregressive Language Models [88.80146574509195]
  知識蒸留(KD)を改善するための簡易かつ効果的な適応型教育法(ATKD)を提案する。 ATKDの中核は、ロート学習を減らし、教育をより多様で柔軟なものにすることだ。 8つのLMタスクの実験は、ATKDの助けを借りて、様々なベースラインのKD手法が一貫した、重要なパフォーマンス向上を達成することを示した。
  論文  参考訳（メタデータ） (2024-02-19T07:01:10Z)
• Comparative Knowledge Distillation [102.35425896967791]
  伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。 本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。 CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-03T21:55:33Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。