論文の概要: Parameter-Efficient and Student-Friendly Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2205.15308v1
• Date: Sat, 28 May 2022 16:11:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-04 19:33:07.079582
• Title: Parameter-Efficient and Student-Friendly Knowledge Distillation
• Title（参考訳）: パラメータ効率と学生フレンドリな知識蒸留
• Authors: Jun Rao, Xv Meng, Liang Ding, Shuhan Qi, Dacheng Tao
• Abstract要約: 本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
• 参考スコア（独自算出の注目度）: 83.56365548607863
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Knowledge distillation (KD) has been extensively employed to transfer the knowledge from a large teacher model to the smaller students, where the parameters of the teacher are fixed (or partially) during training. Recent studies show that this mode may cause difficulties in knowledge transfer due to the mismatched model capacities. To alleviate the mismatch problem, teacher-student joint training methods, e.g., online distillation, have been proposed, but it always requires expensive computational cost. In this paper, we present a parameter-efficient and student-friendly knowledge distillation method, namely PESF-KD, to achieve efficient and sufficient knowledge transfer by updating relatively few partial parameters. Technically, we first mathematically formulate the mismatch as the sharpness gap between their predictive distributions, where we show such a gap can be narrowed with the appropriate smoothness of the soft label. Then, we introduce an adapter module for the teacher and only update the adapter to obtain soft labels with appropriate smoothness. Experiments on a variety of benchmarks show that PESF-KD can significantly reduce the training cost while obtaining competitive results compared to advanced online distillation methods. Code will be released upon acceptance.
• Abstract（参考訳）: 知識蒸留(KD)は、大きな教師モデルから小さな学生に知識を伝達するために広く使われており、教師のパラメータはトレーニング中に固定(あるいは部分的に)されている。 近年の研究では、このモードが不一致モデル容量による知識伝達の困難を引き起こす可能性があることが示されている。 ミスマッチ問題を解決するために, オンライン蒸留など, 教師と学生の合同学習法が提案されているが, 常に高価な計算コストを必要とする。 本稿では,比較的少数の部分パラメータを更新することにより,効率的な知識伝達を実現するために,パラメータ効率が高く,学生に優しい知識蒸留法PESF-KDを提案する。 技術的には,まず予測分布間のシャープネスギャップとしてミスマッチを数学的に定式化し,そのギャップをソフトラベルの適切な滑らかさで狭めることができることを示す。 次に,教師のためのアダプタモジュールを導入し,適切なスムーズさでソフトラベルを得るためのアダプタを更新する。 各種ベンチマーク実験により,PESF-KDは高度オンライン蒸留法と比較して,競争力のある結果が得られる一方で,トレーニングコストを大幅に削減できることが示された。 コードは受理時にリリースされる。

関連論文リスト

• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Small Scale Data-Free Knowledge Distillation [37.708282211941416]
  小型データフリーな知識蒸留SSD-KDを提案する。 SSD-KDは、適切なサンプルを選択するために、合成サンプルと優先サンプリング関数のバランスをとる。 非常に少量の合成サンプルで蒸留訓練を行うことができる。
  論文  参考訳（メタデータ） (2024-06-12T05:09:41Z)
• AICSD: Adaptive Inter-Class Similarity Distillation for Semantic Segmentation [12.92102548320001]
  本稿では,知識蒸留を目的としたICSD (Inter-Class similarity Distillation) を提案する。 提案手法は,教師ネットワークから生徒ネットワークへの高次関係を,ネットワーク出力から各クラス毎のクラス内分布を独立に計算することによって伝達する。 セマンティックセグメンテーションのためのよく知られた2つのデータセットであるCityscapesとPascal VOC 2012の実験により、提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2023-08-08T13:17:20Z)
• Distillation from Heterogeneous Models for Top-K Recommendation [43.83625440616829]
  HetCompは、教師の軌跡から一連の知識を伝達することで、学生モデルをガイドするフレームワークである。 HetCompは学生モデルの蒸留品質と一般化を著しく改善する。
  論文  参考訳（メタデータ） (2023-03-02T10:23:50Z)
• Distilling Calibrated Student from an Uncalibrated Teacher [8.101116303448586]
  校正されていない教師から学生を得る方法を研究する。 当社のアプローチは,カットアウトやミックスアップ,CutMixなど,データ拡張技術の融合によるものです。 従来の知識蒸留を超えて我々のアプローチを拡張し、それに適したものも見出す。
  論文  参考訳（メタデータ） (2023-02-22T16:18:38Z)
• Unbiased Knowledge Distillation for Recommendation [66.82575287129728]
  知識蒸留(KD)は推論遅延を低減するためにレコメンダシステム(RS)に応用されている。 従来のソリューションは、まずトレーニングデータから完全な教師モデルを訓練し、その後、その知識を変換して、コンパクトな学生モデルの学習を監督する。 このような標準的な蒸留パラダイムは深刻なバイアス問題を引き起こし、蒸留後に人気アイテムがより強く推奨されることになる。
  論文  参考訳（メタデータ） (2022-11-27T05:14:03Z)
• Dynamic Rectification Knowledge Distillation [0.0]
  ダイナミック・リクティフィケーション・ナレッジ蒸留(DR-KD)は、知識蒸留の枠組みである。 DR-KDは生徒を自身の教師に転換し、自己学習者が情報を蒸留しながら誤った予測を行った場合、知識が蒸留される前に誤りが修正される。 提案するDR-KDは, 複雑な教師モデルが存在しない場合, 極めて良好に機能する。
  論文  参考訳（メタデータ） (2022-01-27T04:38:01Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup [91.1317510066954]
  我々は, 知識蒸留効率という, ささやかだが重要な質問について研究する。 我々のゴールは、訓練中に計算コストの低い従来の知識蒸留に匹敵する性能を達成することである。 我々は,Uncertainty-aware mIXup (UNIX) がクリーンで効果的なソリューションであることを示す。
  論文  参考訳（メタデータ） (2020-12-17T06:52:16Z)
• Knowledge distillation via adaptive instance normalization [52.91164959767517]
  本稿では,教師から生徒への特徴統計の伝達に基づく新しい知識蒸留法を提案する。 本手法は,教師に類似する生徒の平均と分散を強制する標準的な方法を超えている。 以上の結果から, 蒸留法は他の蒸留法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2020-03-09T17:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。