論文の概要: ALP-KD: Attention-Based Layer Projection for Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2012.14022v1
• Date: Sun, 27 Dec 2020 22:30:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-24 20:11:57.877176
• Title: ALP-KD: Attention-Based Layer Projection for Knowledge Distillation
• Title（参考訳）: ALP-KD:知識蒸留のための注意層投影
• Authors: Peyman Passban, Yimeng Wu, Mehdi Rezagholizadeh, Qun Liu
• Abstract要約: 2つのニューラルネットワーク、すなわち教師と学生は、トレーニング中に一緒に結合されます。 教師ネットワークは信頼できる予測者であり、生徒はその予測を模倣しようとします。 このような状況下では、蒸留は最終予測でのみ行われるが、生徒は教師が内部成分を監督する利益も得る。
• 参考スコア（独自算出の注目度）: 30.896957367331137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation is considered as a training and compression strategy in which two neural networks, namely a teacher and a student, are coupled together during training. The teacher network is supposed to be a trustworthy predictor and the student tries to mimic its predictions. Usually, a student with a lighter architecture is selected so we can achieve compression and yet deliver high-quality results. In such a setting, distillation only happens for final predictions whereas the student could also benefit from teacher's supervision for internal components. Motivated by this, we studied the problem of distillation for intermediate layers. Since there might not be a one-to-one alignment between student and teacher layers, existing techniques skip some teacher layers and only distill from a subset of them. This shortcoming directly impacts quality, so we instead propose a combinatorial technique which relies on attention. Our model fuses teacher-side information and takes each layer's significance into consideration, then performs distillation between combined teacher layers and those of the student. Using our technique, we distilled a 12-layer BERT (Devlin et al. 2019) into 6-, 4-, and 2-layer counterparts and evaluated them on GLUE tasks (Wang et al. 2018). Experimental results show that our combinatorial approach is able to outperform other existing techniques.
• Abstract（参考訳）: 知識蒸留は、教師と生徒の2つのニューラルネットワークが訓練中に結合されるトレーニングと圧縮戦略であると考えられている。 教師ネットワークは信頼できる予測者であり、学生はその予測を模倣しようとする。 通常、より軽量なアーキテクチャを持つ学生が選択され、圧縮が可能で、高品質な結果が得られる。 このような状況下では、蒸留は最終予測でのみ行われるが、生徒は教師が内部成分を監督する利益も得る。 そこで本研究では,中間層における蒸留問題について検討した。 学生層と教師層の間には一対一のアライメントがないため、既存のテクニックは教師層をスキップし、それらのサブセットからのみ蒸留する。 この欠点は直接品質に影響するため、注意に依存する組合せ手法を提案する。 本モデルでは,教師側情報を融合し,各レイヤの意義を考慮し,教師層と学生層との蒸留を行う。 本手法を用いて12層BERT (Devlin et al) を蒸留した。 2019) を6層,4層,2層に分け,グルータスク(wangなど)で評価した。 2018). 実験の結果,我々の組み合わせアプローチは既存の手法よりも優れていることがわかった。

関連論文リスト

• Decoupled Knowledge with Ensemble Learning for Online Distillation [3.794605440322862]
  オンライン知識蒸留は、相互学習と協調学習による要求を緩和するワンステージ戦略である。 近年のペア協調学習(PCL)では,オンラインアンサンブル,ベースネットワークの協調,時間的平均教師による効果的な知識構築が実現されている。 オンライン知識蒸留のための分離知識は、学生とは別に独立した教師によって生成される。
  論文  参考訳（メタデータ） (2023-12-18T14:08:59Z)
• Knowledge Distillation Layer that Lets the Student Decide [6.689381216751284]
  2つの異なる能力でKDを改善する学習可能なKD層を提案する。 一 教師の知識の活用の仕方を学び、ニュアンス情報を破棄し、及び、伝達された知識をより深めていくこと。
  論文  参考訳（メタデータ） (2023-09-06T09:05:03Z)
• Triplet Knowledge Distillation [73.39109022280878]
  知識蒸留(Knowledge Distillation)では、教師は一般的に生徒よりもはるかに大きく、教師の解法は生徒が学ぶのが難しくなる。 模擬困難を緩和するため,TriKDという三重項知識蒸留機構を導入する。
  論文  参考訳（メタデータ） (2023-05-25T12:12:31Z)
• Supervision Complexity and its Role in Knowledge Distillation [65.07910515406209]
  蒸留した学生の一般化行動について検討する。 この枠組みは、教師の精度、教師の予測に対する生徒の差、教師の予測の複雑さの間の微妙な相互作用を強調している。 オンライン蒸留の有効性を実証し,様々な画像分類ベンチマークとモデルアーキテクチャに関する理論的知見を検証した。
  論文  参考訳（メタデータ） (2023-01-28T16:34:47Z)
• Switchable Online Knowledge Distillation [68.2673580932132]
  オンライン知識蒸留(OKD)は、教師と学生の違いを相互に活用することで、関係するモデルを改善する。 そこで我々は,これらの疑問に答えるために,スイッチブルオンライン知識蒸留(SwitOKD)を提案する。
  論文  参考訳（メタデータ） (2022-09-12T03:03:40Z)
• Knowledge Distillation with the Reused Teacher Classifier [31.22117343316628]
  簡単な知識蒸留技術では,教師と学生のパフォーマンスギャップを大幅に狭めるのに十分であることを示す。 提案手法は, プロジェクタの追加による圧縮率の最小コストで, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-03-26T06:28:46Z)
• Learning to Teach with Student Feedback [67.41261090761834]
  対話的知識蒸留 (Interactive Knowledge Distillation, IKD) は、教師が生徒のフィードバックから教えることを学ぶことを可能にする。 IKDは教師モデルを訓練し、特定の学生のトレーニングステップごとに特定のソフトターゲットを生成する。 教師と生徒の協調的な最適化は2つの反復的なステップによって達成される。
  論文  参考訳（メタデータ） (2021-09-10T03:01:01Z)
• Fixing the Teacher-Student Knowledge Discrepancy in Distillation [72.4354883997316]
  本稿では,教師の知識を学生とより整合させる,新たな学生依存型蒸留法である知識一貫型蒸留を提案する。 この手法は非常に柔軟で,他の最先端手法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-31T06:52:20Z)
• Distilling Knowledge via Intermediate Classifier Heads [0.5584060970507505]
  知識蒸留は、事前訓練されたより大きな教師モデルのガイドを用いて、リソース限定の学生モデルを訓練するためのトランスファーラーニングアプローチである。 キャパシティギャップの影響を軽減するため,中間頭部による知識蒸留を導入する。 種々の教師と学生のペアとデータセットに関する実験により,提案手法が標準知識蒸留法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-02-28T12:52:52Z)
• Differentiable Feature Aggregation Search for Knowledge Distillation [47.94874193183427]
  単教師蒸留フレームワークにおける多教師蒸留を模倣する特徴集約について紹介する。 DFAは、ニューラルネットワーク探索においてDARTSによって動機付けられた2段階の微分可能特徴集合探索法である。 実験の結果,DFAはCIFAR-100およびCINIC-10データセットの既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-08-02T15:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。