論文の概要: RAIL-KD: RAndom Intermediate Layer Mapping for Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2109.10164v1
• Date: Tue, 21 Sep 2021 13:21:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-22 18:11:14.977475
• Title: RAIL-KD: RAndom Intermediate Layer Mapping for Knowledge Distillation
• Title（参考訳）: RAIL-KD:知識蒸留のためのランダム中間層マッピング
• Authors: Md Akmal Haidar, Nithin Anchuri, Mehdi Rezagholizadeh, Abbas Ghaddar, Philippe Langlais, Pascal Poupart
• Abstract要約: 本稿では,教師モデルから中間層をランダムに選択し,学生モデルの中間層に蒸留するRAIL-KD手法を提案する。 我々は,RAIL-KD手法が他の最先端中間層KD法よりも性能と訓練時間の両方で優れていることを示す。
• 参考スコア（独自算出の注目度）: 24.951887361152988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Intermediate layer knowledge distillation (KD) can improve the standard KD technique (which only targets the output of teacher and student models) especially over large pre-trained language models. However, intermediate layer distillation suffers from excessive computational burdens and engineering efforts required for setting up a proper layer mapping. To address these problems, we propose a RAndom Intermediate Layer Knowledge Distillation (RAIL-KD) approach in which, intermediate layers from the teacher model are selected randomly to be distilled into the intermediate layers of the student model. This randomized selection enforce that: all teacher layers are taken into account in the training process, while reducing the computational cost of intermediate layer distillation. Also, we show that it act as a regularizer for improving the generalizability of the student model. We perform extensive experiments on GLUE tasks as well as on out-of-domain test sets. We show that our proposed RAIL-KD approach outperforms other state-of-the-art intermediate layer KD methods considerably in both performance and training-time.
• Abstract（参考訳）: 中間層知識蒸留(英語版)(KD)は、特に大規模な事前訓練された言語モデルよりも標準KD技術(教師および学生モデルの出力のみを対象とする)を改善することができる。 しかし、中間層蒸留は、適切な層マッピングを構築するのに必要な過剰な計算負担とエンジニアリング努力に悩まされる。 これらの問題に対処するために、教師モデルから中間層をランダムに選択し、学生モデルの中間層に蒸留するRandom Intermediate Layer Knowledge Distillation (RAIL-KD)アプローチを提案する。 すべての教師層は、中間層蒸留の計算コストを削減しつつ、トレーニングプロセスにおいて考慮される。 また,学生モデルの一般化性を向上させるためのレギュラライザとして機能することを示す。 グルータスクやドメイン外テストセットについても,広範な実験を行います。 我々は,RAIL-KD手法が他の最先端中間層KD法よりも性能と訓練時間の両方で優れていることを示す。

関連論文リスト

• Linear Projections of Teacher Embeddings for Few-Class Distillation [14.99228980898161]
  知識蒸留(KD)は、より大規模で複雑な教師モデルからより小さな学生モデルへ知識を移行するための有望なアプローチとして登場した。 学習埋め込み線形射影(LELP)と呼ばれる教師のモデル表現から知識を抽出する新しい手法を提案する。 Amazon ReviewsやSentiment140のような大規模NLPベンチマークの実験的な評価では、LELPはバイナリや少数クラスの問題に対する既存の最先端蒸留アルゴリズムと一貫して競合し、典型的には優れていることが示されている。
  論文  参考訳（メタデータ） (2024-09-30T16:07:34Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Relative Difficulty Distillation for Semantic Segmentation [54.76143187709987]
  我々は,Relative Difficulty Distillation (RDD) というセマンティックセグメンテーションのための画素レベルのKDパラダイムを提案する。 RDDにより、教師ネットワークは、追加の最適化目標を伴わずに、学習焦点に対する効果的なガイダンスを提供することができる。 我々の研究は、RDDが既存のKDメソッドと統合して、上位パフォーマンスバウンダリを改善できることを示します。
  論文  参考訳（メタデータ） (2024-07-04T08:08:25Z)
• SKILL: Similarity-aware Knowledge distILLation for Speech Self-Supervised Learning [14.480769476843886]
  本稿では,教師ネットワーク内の個々の層を任意に蒸留するのではなく,層群間で蒸留を行う新しい手法であるSKILLを紹介する。 DPHuBERT に勝るだけでなく,30M のパラメーターモデルで最先端の結果が得られることを,我々の蒸留版 WavLM Base+ が実証した。
  論文  参考訳（メタデータ） (2024-02-26T18:56:42Z)
• Rethinking Intermediate Layers design in Knowledge Distillation for Kidney and Liver Tumor Segmentation [4.252489463601601]
  医用イメージングタスクのための階層型層選択型フィードバック蒸留(HLFD)を提案する。 HLFDは、中間層から以前の層への知識を戦略的に蒸留し、最終層の知識を特徴レベルと画素レベルの中間層に伝達する。 腎臓セグメンテーションタスクでは、HLFDは学生モデル(KDなし)を10%以上上回り、腫瘍特異的な特徴への焦点を著しく改善する。
  論文  参考訳（メタデータ） (2023-11-28T11:22:08Z)
• Parameter-Efficient and Student-Friendly Knowledge Distillation [83.56365548607863]
  本稿では, PESF-KDというパラメータ効率と学生に優しい知識蒸留法を提案し, 効率的かつ十分な知識伝達を実現する。 各種ベンチマーク実験により,PESF-KDは,高度オンライン蒸留法と比較して,競争力のある結果を得ながら,トレーニングコストを大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2022-05-28T16:11:49Z)
• Knowledge Distillation with Deep Supervision [6.8080936803807734]
  本研究では,教師モデルのクラス予測と特徴マップをフル活用し,浅層学習モデルの指導を監督する深層学習知識蒸留(DSKD)を提案する。 DSKDでは、各浅い層の学習過程を適応的にバランスさせ、学生のパフォーマンスをさらに向上するため、損失に基づく重み付け戦略が開発されている。
  論文  参考訳（メタデータ） (2022-02-16T03:58:21Z)
• Cross-Layer Distillation with Semantic Calibration [26.59016826651437]
  本稿では,教師モデルの適切なターゲット層を各生徒層に自動的に割り当てるセマンティックなクロスレイヤー知識蒸留(SemCKD)を提案する。 学習した注意分布により、各学生層は教師モデルから1つの固定中間層ではなく、複数の階層に含まれる知識を蒸留し、訓練における適切なクロス層監視を行う。
  論文  参考訳（メタデータ） (2020-12-06T11:16:07Z)
• Multi-head Knowledge Distillation for Model Compression [65.58705111863814]
  そこで本研究では,中間層における特徴マッチングのための補助分類器を用いた簡易実装法を提案する。 提案手法は,本論文で提示された従来手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-05T00:49:14Z)
• Contrastive Distillation on Intermediate Representations for Language Model Compression [89.31786191358802]
  本稿では,中間表現に関するコントラスト蒸留(Contrastive Distillation on Intermediate Representation, CoDIR)について, 基本知識蒸留フレームワークとして提案する。 ポジティブなサンプルと大量のネガティブなサンプルを区別することを学ぶことで、CoDIRは教師の隠れた層におけるリッチな情報の利用を促進する。 CoDIRは、事前学習と微調整の両方の段階で大規模言語モデルに容易に適用でき、GLUEベンチマークで最高性能を達成できる。
  論文  参考訳（メタデータ） (2020-09-29T17:31:43Z)
• Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
  教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。 提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
  論文  参考訳（メタデータ） (2020-05-02T06:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。