論文の概要: Why does Knowledge Distillation Work? Rethink its Attention and Fidelity Mechanism

• arxiv url: http://arxiv.org/abs/2405.00739v1
• Date: Tue, 30 Apr 2024 01:12:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 20:52:21.460010
• Title: Why does Knowledge Distillation Work? Rethink its Attention and Fidelity Mechanism
• Title（参考訳）: 知識蒸留はなぜ機能するのか : 意識と忠実さのメカニズムを再考する
• Authors: Chenqi Guo, Shiwei Zhong, Xiaofeng Liu, Qianli Feng, Yinglong Ma,
• Abstract要約: パラドキカルな研究は、教師の行動を忠実に再現することは、生徒の一般化を一貫して改善しないことを示している。 我々は,この低忠実度現象を,KD訓練時の病理学よりも基礎的な特徴として提案する。
• 参考スコア（独自算出の注目度）: 8.322293031346161
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Does Knowledge Distillation (KD) really work? Conventional wisdom viewed it as a knowledge transfer procedure where a perfect mimicry of the student to its teacher is desired. However, paradoxical studies indicate that closely replicating the teacher's behavior does not consistently improve student generalization, posing questions on its possible causes. Confronted with this gap, we hypothesize that diverse attentions in teachers contribute to better student generalization at the expense of reduced fidelity in ensemble KD setups. By increasing data augmentation strengths, our key findings reveal a decrease in the Intersection over Union (IoU) of attentions between teacher models, leading to reduced student overfitting and decreased fidelity. We propose this low-fidelity phenomenon as an underlying characteristic rather than a pathology when training KD. This suggests that stronger data augmentation fosters a broader perspective provided by the divergent teacher ensemble and lower student-teacher mutual information, benefiting generalization performance. These insights clarify the mechanism on low-fidelity phenomenon in KD. Thus, we offer new perspectives on optimizing student model performance, by emphasizing increased diversity in teacher attentions and reduced mimicry behavior between teachers and student.
• Abstract（参考訳）: 知識蒸留(KD)は本当に機能するのか? 従来の知恵は、学生が教師に完璧に模倣されることが望まれる知識伝達手順であると見なしていた。 しかし、パラドックス的な研究は、教師の行動を忠実に再現することは、生徒の一般化を一貫して改善するものではなく、その潜在的な原因について疑問を呈していることを示している。 このギャップを克服して,教師の多様な注意が,KDセットアップの忠実度低下を犠牲にして,学生の一般化に寄与する,という仮説を立てた。 データ強化の強度を増大させることで、教師モデル間の注意関係のIoU(Intersection over Union)が減少し、学生の過度な適合が減少し、忠実度が低下することが明らかとなった。 我々は,この低忠実度現象を,KD訓練時の病理学よりも基礎的な特徴として提案する。 このことは、より強力なデータ拡張が、分散教師のアンサンブルと低学生と教師の相互情報によって提供されるより広い視点を育み、一般化性能の恩恵をもたらすことを示唆している。 これらの知見は、KDにおける低忠実性現象のメカニズムを明らかにする。 そこで本研究では,教師の注意力の多様性の向上と,教師と生徒の模倣行動の低減を両立させることにより,生徒モデルのパフォーマンスを最適化する新たな視点を提供する。

関連論文リスト

• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)
• Better Teacher Better Student: Dynamic Prior Knowledge for Knowledge Distillation [70.92135839545314]
  本研究では,教師の持つ特徴の一部を,特徴蒸留前の先行知識として統合した動的事前知識(DPK)を提案する。 DPKは,教員モデルと生徒モデルのパフォーマンスを正に相関させ,より大きな教員を適用することで生徒の精度をさらに高めることができる。
  論文  参考訳（メタデータ） (2022-06-13T11:52:13Z)
• Evaluation-oriented Knowledge Distillation for Deep Face Recognition [19.01023156168511]
  本研究では,教師モデルと学生モデルのパフォーマンスギャップを直接軽減するために,深層顔認識のための新しい評価指向KD法を提案する。 EKDは顔認識において一般的に用いられる評価指標、すなわち偽陽性率(FPR)と真陽性率(TPR)をパフォーマンス指標として用いている。
  論文  参考訳（メタデータ） (2022-06-06T02:49:40Z)
• Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
  よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。 知識蒸留は教師から知識を抽出し、対象モデルと統合する。 教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
  論文  参考訳（メタデータ） (2022-05-04T06:49:47Z)
• Improved Knowledge Distillation via Adversarial Collaboration [2.373824287636486]
  小学生モデルは、大きく訓練された教師モデルの知識を活用するために訓練される。 教師と生徒の能力格差のため、生徒の成績は教師のレベルに達することは困難である。 本稿では, 知識蒸留の性能を効果的に向上させる, ACKD (Adversarial Collaborative Knowledge Distillation) 法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T07:20:46Z)
• Learning to Teach with Student Feedback [67.41261090761834]
  対話的知識蒸留 (Interactive Knowledge Distillation, IKD) は、教師が生徒のフィードバックから教えることを学ぶことを可能にする。 IKDは教師モデルを訓練し、特定の学生のトレーニングステップごとに特定のソフトターゲットを生成する。 教師と生徒の協調的な最適化は2つの反復的なステップによって達成される。
  論文  参考訳（メタデータ） (2021-09-10T03:01:01Z)
• Does Knowledge Distillation Really Work? [106.38447017262183]
  知識蒸留は学生の一般化を改善することができるが、一般的に理解されているようには機能しない。 学生が教師に合わない理由として,最適化の難しさがあげられる。
  論文  参考訳（メタデータ） (2021-06-10T17:44:02Z)
• Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation [67.75526580926149]
  知識蒸留は、はるかに大きなものから写像関数を学習することにより、コンパクトで効果的なモデルを得ることを目的としている。 本研究では,教師と学生の信頼のギャップを調査し,容量ギャップ問題について検討する。 知識蒸留には信頼度は必要とせず,学生が自信を習得せざるを得ない場合には,学生のパフォーマンスを損なう可能性がある。
  論文  参考訳（メタデータ） (2020-10-15T03:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。