論文の概要: EA-KD: Entropy-based Adaptive Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2311.13621v2
• Date: Wed, 01 Jan 2025 15:40:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-03 14:34:22.652190
• Title: EA-KD: Entropy-based Adaptive Knowledge Distillation
• Title（参考訳）: EA-KD:エントロピーに基づく適応的知識蒸留
• Authors: Chi-Ping Su, Ching-Hsun Tseng, Bin Pu, Lei Zhao, Zhuangzhuang Chen, Shin-Jye Lee,
• Abstract要約: Entropy-based Adaptive Distillation (EAKD) は、損失値サンプルを優先する単純なプラグプレイKD法である。 EA-KDは一貫して性能を向上し、最先端の計算コストを無視できる結果を得る。
• 参考スコア（独自算出の注目度）: 7.0075312290851235
• License:
• Abstract: Knowledge distillation (KD) enables a smaller "student" model to mimic a larger "teacher" model by transferring knowledge from the teacher's output or features. However, most KD methods treat all samples uniformly, overlooking the varying learning value of each sample and thereby limiting effectiveness. In this paper, we propose Entropy-based Adaptive Knowledge Distillation (EA-KD), a simple yet effective plug-and-play KD method that prioritizes learning from valuable samples. EA-KD quantifies each sample's learning value by strategically combining the entropy of the teacher and student output, then dynamically reweights the distillation loss to place greater emphasis on high-value samples. Extensive experiments across diverse KD frameworks and tasks$\unicode{x2014}$including image classification, object detection, and large language model (LLM) distillation$\unicode{x2014}$demonstrate that EA-KD consistently enhances performance, achieving state-of-the-art results with negligible computational cost. Our code will be publicly available.
• Abstract（参考訳）: 知識蒸留(KD)は、教師の出力や特徴から知識を伝達することで、より小さな「学生」モデルでより大きな「教師」モデルを模倣することを可能にする。 しかしながら、ほとんどのKD法は、全てのサンプルを均一に扱い、各サンプルの異なる学習値を見渡して、有効性を制限している。 本稿では,重要サンプルからの学習を優先する簡易かつ効果的なプラグアンドプレイKD法である,エントロピーに基づく適応的知識蒸留(EA-KD)を提案する。 EA-KDは、教師と学生の出力のエントロピーを戦略的に組み合わせて各サンプルの学習価値を定量化し、蒸留損失を動的に重み付け、高値サンプルに重点を置く。 さまざまなKDフレームワークとタスクにわたる大規模な実験。$\unicode{x2014}$ includes image classification, object detection, and large language model (LLM) distillation$\unicode{x2014}$demonstrate that EA-KDは一貫してパフォーマンスを向上し、無視できる計算コストで最先端の結果を達成する。 私たちのコードは公開されます。

関連論文リスト

• Speculative Knowledge Distillation: Bridging the Teacher-Student Gap Through Interleaved Sampling [81.00825302340984]
  本研究では,高品質なトレーニングデータを生成するために,投機的知識蒸留(SKD)を導入する。 SKDでは、学生はトークンを提案し、教師はそれ自身の分布に基づいて低いランクのトークンを置き換える。 翻訳,要約,数学,指示文など,各種テキスト生成タスクにおけるSKDの評価を行った。
  論文  参考訳（メタデータ） (2024-10-15T06:51:25Z)
• Adaptive Explicit Knowledge Transfer for Knowledge Distillation [17.739979156009696]
  教師モデルから,非目標クラスの確率分布を効果的に提供することにより,ロジットに基づく知識蒸留の性能を向上させることができることを示す。 本研究では,学習者が暗黙的な知識を適応的に学習できる新たな損失を提案する。 実験結果から, 適応的明示的知識伝達法(AEKT)は, 最先端KD法と比較して性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-03T07:42:59Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Comparative Knowledge Distillation [102.35425896967791]
  伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。 本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。 CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-03T21:55:33Z)
• Towards Understanding and Improving Knowledge Distillation for Neural Machine Translation [59.31690622031927]
  この知識は,教師のトップ1の予測から得られたものである。 我々はtextbfTop-1 textbfInformation textbfEnhanced textbfKnowledge textbfDistillation (TIE-KD) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-14T08:23:03Z)
• Knowledge Condensation Distillation [38.446333274732126]
  既存の方法は、知識のヒントを発掘し、すべての知識を学生に伝達することに焦点を当てている。 本稿では,知識凝縮蒸留(KCD)を提案する。 我々のアプローチは、既製のKDメソッドの上に構築しやすく、追加のトレーニングパラメータや無視可能なオーバーヘッドがない。
  論文  参考訳（メタデータ） (2022-07-12T09:17:34Z)
• Undistillable: Making A Nasty Teacher That CANNOT teach students [84.6111281091602]
  本論文では,ナスティ・ティーチング(Nasty Teacher)という,通常の教師とほぼ同じパフォーマンスを得られる特別に訓練されたティーチング・ネットワークについて紹介し,研究する。 本稿では, 自負知識蒸留法という, シンプルで効果的な教師構築アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-16T08:41:30Z)
• KDExplainer: A Task-oriented Attention Model for Explaining Knowledge Distillation [59.061835562314066]
  KDExplainerと呼ばれる新しいタスク指向の注意モデルを導入し、バニラKDの基礎となる作業メカニズムを明らかにします。 また、仮想注意モジュール(VAM)と呼ばれるポータブルツールを導入し、さまざまなディープニューラルネットワーク(DNN)とシームレスに統合し、KDの下でのパフォーマンスを向上させることができます。
  論文  参考訳（メタデータ） (2021-05-10T08:15:26Z)
• Knowledge Distillation Thrives on Data Augmentation [65.58705111863814]
  知識蒸留(KD)は、教師モデルを用いて学生モデルをガイドする一般的なディープニューラルネットワークトレーニングフレームワークである。 多くの研究がその成功の根拠を探っているが、データ強化(DA)との相互作用は未だよく認識されていない。 本稿では,KD損失は,クロスエントロピー損失を伴わないが,拡張トレーニングイテレーションの恩恵を受けることができることを示す。 KD損失は、DAがもたらす異なる入力ビューから余分な情報をタップすることができる。
  論文  参考訳（メタデータ） (2020-12-05T00:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。