論文の概要: MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers

• arxiv url: http://arxiv.org/abs/2002.10957v2
• Date: Mon, 6 Apr 2020 02:53:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 21:38:19.268482
• Title: MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers
• Title（参考訳）: MiniLM:プレトレーニング変圧器のタスク非依存圧縮のための深部自己注意蒸留
• Authors: Wenhui Wang, Furu Wei, Li Dong, Hangbo Bao, Nan Yang, Ming Zhou
• Abstract要約: 本稿では,大規模トランスフォーマーをベースとした事前学習モデルの簡易かつ効率的な圧縮手法を提案する。 本稿では,教師の最後のトランスフォーマー層の自己保持モジュールを蒸留することを提案する。 実験結果から, 単言語モデルでは, 学生モデルのパラメータサイズの違いにより, 最先端のベースラインよりも優れた結果が得られた。
• 参考スコア（独自算出の注目度）: 117.67424061746247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models (e.g., BERT (Devlin et al., 2018) and its variants) have achieved remarkable success in varieties of NLP tasks. However, these models usually consist of hundreds of millions of parameters which brings challenges for fine-tuning and online serving in real-life applications due to latency and capacity constraints. In this work, we present a simple and effective approach to compress large Transformer (Vaswani et al., 2017) based pre-trained models, termed as deep self-attention distillation. The small model (student) is trained by deeply mimicking the self-attention module, which plays a vital role in Transformer networks, of the large model (teacher). Specifically, we propose distilling the self-attention module of the last Transformer layer of the teacher, which is effective and flexible for the student. Furthermore, we introduce the scaled dot-product between values in the self-attention module as the new deep self-attention knowledge, in addition to the attention distributions (i.e., the scaled dot-product of queries and keys) that have been used in existing works. Moreover, we show that introducing a teacher assistant (Mirzadeh et al., 2019) also helps the distillation of large pre-trained Transformer models. Experimental results demonstrate that our monolingual model outperforms state-of-the-art baselines in different parameter size of student models. In particular, it retains more than 99% accuracy on SQuAD 2.0 and several GLUE benchmark tasks using 50% of the Transformer parameters and computations of the teacher model. We also obtain competitive results in applying deep self-attention distillation to multilingual pre-trained models.
• Abstract（参考訳）: 事前訓練された言語モデル(例えばBERT (Devlin et al., 2018)とその変種)は、様々なNLPタスクで顕著な成功を収めた。 しかしながら、これらのモデルは一般的に数億のパラメータで構成されており、レイテンシとキャパシティの制約により、リアルタイムアプリケーションで微調整やオンラインサービスを行う上での課題をもたらす。 そこで本研究では,大形変圧器(vaswani et al., 2017)を基礎とした,深層自己着脱蒸留という,簡易かつ効果的なモデルを提案する。 小さなモデル(学生)は、大きなモデル(教師)のトランスフォーマーネットワークにおいて重要な役割を果たす自己注意モジュールを深く模倣することで訓練される。 具体的には,教師の最後のトランスフォーマー層のセルフアテンションモジュールを蒸留することを提案する。 さらに,既存の研究で使用されている注目分布(クエリとキーのスケールドドット積)に加えて,自己注意モジュールの値間のスケールドドット積を,新たな深い自己注意知識として導入する。 さらに,教師助手(Mirzadeh et al., 2019)の導入は,大規模な事前学習トランスフォーマーモデルの蒸留にも有効であることを示す。 実験の結果, 単言語モデルでは, 学生モデルのパラメータサイズの違いにより, 最先端のベースラインよりも優れていた。 特に、教師モデルのTransformerパラメータと計算の50%を使用して、SQuAD 2.0とGLUEベンチマークタスクの99%以上の精度を維持している。 また,多言語事前学習モデルに適用した深部自己注意蒸留の競争結果を得た。

関連論文リスト

• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Progressive Distillation Based on Masked Generation Feature Method for Knowledge Graph Completion [29.297959023968165]
  そこで本稿では,KGCタスクのためのマスク生成機能に基づくプログレッシブ蒸留法を提案する。 具体的には、PLMの予蒸留を行い、高品質の教師モデルを取得し、PLMネットワークを圧縮し、マルチグレードの学生モデルを得る。 実験により, 予蒸留段階のモデルが, 既存の最先端手法を超越していることが実証された。
  論文  参考訳（メタデータ） (2024-01-19T07:34:36Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Generic-to-Specific Distillation of Masked Autoencoders [119.21281960831651]
  マスク付きオートエンコーダによって事前訓練された大型モデルの監督下で, 小型ViTモデルのポテンシャルを活かすため, 汎用型蒸留法(G2SD)を提案する。 G2SDでは、バニラViT-Smallモデルは98.7%、98.1%、99.3%のパフォーマンスを画像分類、オブジェクト検出、セマンティックセグメンテーションのために達成している。
  論文  参考訳（メタデータ） (2023-02-28T17:13:14Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• MiniLMv2: Multi-Head Self-Attention Relation Distillation for Compressing Pretrained Transformers [46.42728702637682]
  プリトレーニングトランスフォーマのタスク非依存圧縮に対して, セルフアテンション関係蒸留のみを用いて, minilm の深い自己アテンション蒸留を一般化する。 特に,マルチヘッド自己注意関係を,クエリ,キー,値ベクトルのペア間の拡張ドット積として定義する。 実験結果から, ベースサイズおよび大規模教員(BERT, RoBERTa)から抽出したモデルが, 技術水準を上回っていることが判明した。
  論文  参考訳（メタデータ） (2020-12-31T18:51:26Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。