論文の概要: Knowledge Distillation Thrives on Data Augmentation

• arxiv url: http://arxiv.org/abs/2012.02909v1
• Date: Sat, 5 Dec 2020 00:32:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-22 12:15:41.368573
• Title: Knowledge Distillation Thrives on Data Augmentation
• Title（参考訳）: データ拡張に関する知識蒸留の取り組み
• Authors: Huan Wang, Suhas Lohit, Michael Jones, Yun Fu
• Abstract要約: 知識蒸留(KD)は、教師モデルを用いて学生モデルをガイドする一般的なディープニューラルネットワークトレーニングフレームワークである。 多くの研究がその成功の根拠を探っているが、データ強化(DA)との相互作用は未だよく認識されていない。 本稿では,KD損失は,クロスエントロピー損失を伴わないが,拡張トレーニングイテレーションの恩恵を受けることができることを示す。 KD損失は、DAがもたらす異なる入力ビューから余分な情報をタップすることができる。
• 参考スコア（独自算出の注目度）: 65.58705111863814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) is a general deep neural network training framework that uses a teacher model to guide a student model. Many works have explored the rationale for its success, however, its interplay with data augmentation (DA) has not been well recognized so far. In this paper, we are motivated by an interesting observation in classification: KD loss can benefit from extended training iterations while the cross-entropy loss does not. We show this disparity arises because of data augmentation: KD loss can tap into the extra information from different input views brought by DA. By this explanation, we propose to enhance KD via a stronger data augmentation scheme (e.g., mixup, CutMix). Furthermore, an even stronger new DA approach is developed specifically for KD based on the idea of active learning. The findings and merits of the proposed method are validated by extensive experiments on CIFAR-100, Tiny ImageNet, and ImageNet datasets. We can achieve improved performance simply by using the original KD loss combined with stronger augmentation schemes, compared to existing state-of-the-art methods, which employ more advanced distillation losses. In addition, when our approaches are combined with more advanced distillation losses, we can advance the state-of-the-art performance even more. On top of the encouraging performance, this paper also sheds some light on explaining the success of knowledge distillation. The discovered interplay between KD and DA may inspire more advanced KD algorithms.
• Abstract（参考訳）: 知識蒸留(KD)は、教師モデルを用いて学生モデルをガイドする一般的なディープニューラルネットワークトレーニングフレームワークである。 多くの研究がその成功の根拠を探っているが、データ強化(DA)との相互作用は未だよく認識されていない。 本稿では,KD損失は,クロスエントロピー損失を伴わないが,拡張トレーニングイテレーションの恩恵を受けることができることを示す。 kd lossは、daがもたらしたさまざまな入力ビューからの余分な情報を利用することができます。 本稿では,より強固なデータ拡張スキーム(例えばmixup,cutmix)によりkdを強化することを提案する。 さらに、アクティブラーニングの概念に基づいて、KD用にさらに強力な新しいDAアプローチが開発された。 CIFAR-100, Tiny ImageNet, ImageNetデータセットの広範な実験により, 提案手法の発見と有用性を検証した。 我々は, 従来の蒸留技術に比べて, 従来のKD損失と強化方式の併用により, 改良された性能を実現することができる。 また, より先進的な蒸留損失と組み合わせることで, 最先端の性能をさらに向上させることができる。 本論文は, 促進性能に加えて, 知識蒸留の成功の解説にも光を当てている。 KDとDAの相互作用は、より高度なKDアルゴリズムを引き起こす可能性がある。

関連論文リスト

• Adaptive Explicit Knowledge Transfer for Knowledge Distillation [17.739979156009696]
  教師モデルから,非目標クラスの確率分布を効果的に提供することにより,ロジットに基づく知識蒸留の性能を向上させることができることを示す。 本研究では,学習者が暗黙的な知識を適応的に学習できる新たな損失を提案する。 実験結果から, 適応的明示的知識伝達法(AEKT)は, 最先端KD法と比較して性能が向上することが示された。
  論文  参考訳（メタデータ） (2024-09-03T07:42:59Z)
• Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
  我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。 我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
  論文  参考訳（メタデータ） (2024-07-04T08:08:25Z)
• Revisiting Knowledge Distillation for Autoregressive Language Models [88.80146574509195]
  知識蒸留(KD)を改善するための簡易かつ効果的な適応型教育法(ATKD)を提案する。 ATKDの中核は、ロート学習を減らし、教育をより多様で柔軟なものにすることだ。 8つのLMタスクの実験は、ATKDの助けを借りて、様々なベースラインのKD手法が一貫した、重要なパフォーマンス向上を達成することを示した。
  論文  参考訳（メタデータ） (2024-02-19T07:01:10Z)
• Robustness-Reinforced Knowledge Distillation with Correlation Distance and Network Pruning [3.1423836318272773]
  知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。 既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。 相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
  論文  参考訳（メタデータ） (2023-11-23T11:34:48Z)
• Comparative Knowledge Distillation [102.35425896967791]
  伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。 本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。 CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-03T21:55:33Z)
• CILDA: Contrastive Data Augmentation using Intermediate Layer Knowledge Distillation [30.56389761245621]
  知識蒸留(KD)は、大規模事前学習言語モデルを圧縮するための効率的なフレームワークである。 近年, コントラスト学習, 中間層蒸留, データ拡張, アドミラルトレーニングを活用することで, KDの改善を目指す研究が急増している。 CILDAと呼ばれる知識蒸留に適した学習ベースデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-04-15T23:16:37Z)
• KDExplainer: A Task-oriented Attention Model for Explaining Knowledge Distillation [59.061835562314066]
  KDExplainerと呼ばれる新しいタスク指向の注意モデルを導入し、バニラKDの基礎となる作業メカニズムを明らかにします。 また、仮想注意モジュール(VAM)と呼ばれるポータブルツールを導入し、さまざまなディープニューラルネットワーク(DNN)とシームレスに統合し、KDの下でのパフォーマンスを向上させることができます。
  論文  参考訳（メタデータ） (2021-05-10T08:15:26Z)
• Residual Knowledge Distillation [96.18815134719975]
  本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。 このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。 提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-21T07:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。