論文の概要: Robustness-Reinforced Knowledge Distillation with Correlation Distance
and Network Pruning
- arxiv url: http://arxiv.org/abs/2311.13934v1
- Date: Thu, 23 Nov 2023 11:34:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 23:53:35.808107
- Title: Robustness-Reinforced Knowledge Distillation with Correlation Distance
and Network Pruning
- Title(参考訳): 相関距離とネットワークプルーニングによるロバスト性強化知識蒸留
- Authors: Seonghak Kim, Gyeongdo Ham, Yucheol Cho, and Daeshik Kim
- Abstract要約: 知識蒸留(KD)は、効率的で軽量なモデルの性能を向上させる。
既存のKD技術のほとんどは、Kulback-Leibler(KL)の発散に依存している。
相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
- 参考スコア(独自算出の注目度): 3.1423836318272773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The improvement in the performance of efficient and lightweight models (i.e.,
the student model) is achieved through knowledge distillation (KD), which
involves transferring knowledge from more complex models (i.e., the teacher
model). However, most existing KD techniques rely on Kullback-Leibler (KL)
divergence, which has certain limitations. First, if the teacher distribution
has high entropy, the KL divergence's mode-averaging nature hinders the
transfer of sufficient target information. Second, when the teacher
distribution has low entropy, the KL divergence tends to excessively focus on
specific modes, which fails to convey an abundant amount of valuable knowledge
to the student. Consequently, when dealing with datasets that contain numerous
confounding or challenging samples, student models may struggle to acquire
sufficient knowledge, resulting in subpar performance. Furthermore, in previous
KD approaches, we observed that data augmentation, a technique aimed at
enhancing a model's generalization, can have an adverse impact. Therefore, we
propose a Robustness-Reinforced Knowledge Distillation (R2KD) that leverages
correlation distance and network pruning. This approach enables KD to
effectively incorporate data augmentation for performance improvement.
Extensive experiments on various datasets, including CIFAR-100, FGVR,
TinyImagenet, and ImageNet, demonstrate our method's superiority over current
state-of-the-art methods.
- Abstract(参考訳): 効率的で軽量なモデル(すなわち学生モデル)の性能の向上は、より複雑なモデル(すなわち教師モデル)から知識を伝達する知識蒸留(KD)によって達成される。
しかし、既存のKD技術のほとんどは、特定の制限を持つKL(Kullback-Leibler)の発散に依存している。
まず、教師分布がエントロピーが高い場合、kl発散のモード平均化の性質は、十分なターゲット情報の転送を妨げる。
第二に、教師の分布が低エントロピーである場合、KL分散は特定のモードに過度に集中する傾向にあり、学生に十分な量の貴重な知識を伝達できない。
結果として、多くの難解なサンプルを含むデータセットを扱う場合、学生モデルは十分な知識を得るのに苦労し、結果として性能が劣る可能性がある。
さらに,これまでのkdアプローチでは,モデルの一般化を促進する技術であるデータ拡張が悪影響を及ぼす可能性があることを観察した。
そこで我々は,相関距離とネットワークプルーニングを利用したロバストネス強化知識蒸留(R2KD)を提案する。
このアプローチにより、KDはパフォーマンス改善のためにデータ拡張を効果的に組み込むことができる。
cifar-100、fgvr、tinyimagenet、imagenetなど、さまざまなデータセットに関する広範な実験は、現在の最先端の方法よりも優れた方法を示している。
関連論文リスト
- Comparative Knowledge Distillation [102.35425896967791]
伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。
本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。
CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
論文 参考訳(メタデータ) (2023-11-03T21:55:33Z) - Data Upcycling Knowledge Distillation for Image Super-Resolution [32.705557805057026]
知識蒸留(KD)は、深層ニューラルネットワークを圧縮するための有望だが挑戦的な手法として現れる。
本稿では,効率的なデータ利用,すなわちデータリサイクル知識蒸留(DUKD)の観点からアプローチを行った。
我々は、ペア化された可逆データ拡張によって実装されたSRモデルのKDにおけるラベル整合性正規化を実現する。
様々なベンチマークに関する総合的な実験は、DUKD法が過去の技術よりも大幅に優れていることを示した。
論文 参考訳(メタデータ) (2023-09-25T14:13:26Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳(メタデータ) (2022-11-21T03:09:42Z) - Knowledge Distillation Thrives on Data Augmentation [65.58705111863814]
知識蒸留(KD)は、教師モデルを用いて学生モデルをガイドする一般的なディープニューラルネットワークトレーニングフレームワークである。
多くの研究がその成功の根拠を探っているが、データ強化(DA)との相互作用は未だよく認識されていない。
本稿では,KD損失は,クロスエントロピー損失を伴わないが,拡張トレーニングイテレーションの恩恵を受けることができることを示す。
KD損失は、DAがもたらす異なる入力ビューから余分な情報をタップすることができる。
論文 参考訳(メタデータ) (2020-12-05T00:32:04Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳(メタデータ) (2020-11-01T18:47:51Z) - Knowledge Distillation Beyond Model Compression [13.041607703862724]
知識蒸留(KD)は、より大規模な事前訓練されたモデルや(教師)モデルのアンサンブルの監督の下で、コンパクトモデル(学生)を訓練する効果的なモデル圧縮技術として一般的に考えられている。
本研究では,9つの異なるKD手法について広範な研究を行い,知識の獲得と伝達に関する幅広いアプローチについて述べる。
論文 参考訳(メタデータ) (2020-07-03T19:54:04Z) - Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。
提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
論文 参考訳(メタデータ) (2020-05-02T06:56:56Z) - Residual Knowledge Distillation [96.18815134719975]
本研究は,アシスタント(A)を導入し,さらに知識を蒸留する残留知識蒸留(RKD)を提案する。
このように、S は T の特徴写像を模倣するように訓練され、A はそれらの間の残差を学習することでこの過程を支援する。
提案手法は,CIFAR-100 と ImageNet という,一般的な分類データセットにおいて魅力的な結果が得られることを示す。
論文 参考訳(メタデータ) (2020-02-21T07:49:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。