論文の概要: MiniLMv2: Multi-Head Self-Attention Relation Distillation for
Compressing Pretrained Transformers
- arxiv url: http://arxiv.org/abs/2012.15828v1
- Date: Thu, 31 Dec 2020 18:51:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-17 17:11:20.829442
- Title: MiniLMv2: Multi-Head Self-Attention Relation Distillation for
Compressing Pretrained Transformers
- Title(参考訳): minilmv2:プリトレーニング変圧器用多頭部自己着脱関係蒸留
- Authors: Wenhui Wang, Hangbo Bao, Shaohan Huang, Li Dong, Furu Wei
- Abstract要約: プリトレーニングトランスフォーマのタスク非依存圧縮に対して, セルフアテンション関係蒸留のみを用いて, minilm の深い自己アテンション蒸留を一般化する。
特に,マルチヘッド自己注意関係を,クエリ,キー,値ベクトルのペア間の拡張ドット積として定義する。
実験結果から, ベースサイズおよび大規模教員(BERT, RoBERTa)から抽出したモデルが, 技術水準を上回っていることが判明した。
- 参考スコア(独自算出の注目度): 46.42728702637682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We generalize deep self-attention distillation in MiniLM (Wang et al., 2020)
by only using self-attention relation distillation for task-agnostic
compression of pretrained Transformers. In particular, we define multi-head
self-attention relations as scaled dot-product between the pairs of query, key,
and value vectors within each self-attention module. Then we employ the above
relational knowledge to train the student model. Besides its simplicity and
unified principle, more favorably, there is no restriction in terms of the
number of student's attention heads, while most previous work has to guarantee
the same head number between teacher and student. Moreover, the fine-grained
self-attention relations tend to fully exploit the interaction knowledge
learned by Transformer. In addition, we thoroughly examine the layer selection
strategy for teacher models, rather than just relying on the last layer as in
MiniLM. Experimental results demonstrate that our models distilled from
base-size and large-size teachers (BERT, and RoBERTa) outperform the state of
the art.
- Abstract(参考訳): 我々は,予め訓練したトランスフォーマーのタスク非依存圧縮に,自己注意関係蒸留のみを用いることで,MiniLM(Wang et al., 2020)の深部自己注意蒸留を一般化する。
特に,マルチヘッド自己注意関係を,各自己注意モジュール内のクエリ,キー,値ベクトルのペア間の拡張ドット積として定義する。
そして、上記の関係知識を使って学生モデルを訓練する。
単純で統一された原則のほかに、学生の注意点数に関しては制限がないのが好ましいが、これまでのほとんどの研究は教師と生徒の頭部数と同じことを保証しなければならない。
さらに、微細な自己意識関係は、Transformerが学んだ相互作用知識を完全に活用する傾向がある。
また,MiniLMのような最終層に頼るのではなく,教師モデルの層選択戦略を徹底的に検討した。
実験結果から, ベースサイズおよび大規模教員(BERT, RoBERTa)から抽出したモデルが, 技術水準を上回っていることが判明した。
関連論文リスト
- Progressive distillation induces an implicit curriculum [44.528775476168654]
より良い教師は必ずしも良い生徒を産むとは限らない。
この原理を実証的に検証した1つの変種はプログレッシブ蒸留であり、そこで学生は教師の連続した中間チェックポイントから学習する。
スパースパリティをサンドボックスとして使用することにより、暗黙のカリキュラムをプログレッシブ蒸留によって学生の学習を加速させる1つのメカニズムとして認識する。
論文 参考訳(メタデータ) (2024-10-07T19:49:24Z) - Weight Copy and Low-Rank Adaptation for Few-Shot Distillation of Vision Transformers [22.1372572833618]
視覚変換器のための新規な数ショット特徴蒸留手法を提案する。
まず、既存の視覚変換器の断続的な層から、より浅いアーキテクチャ(学生)へと重みをコピーする。
次に、Low-Rank Adaptation (LoRA) の強化版を用いて、数ショットのシナリオで学生に知識を抽出する。
論文 参考訳(メタデータ) (2024-04-14T18:57:38Z) - Generic-to-Specific Distillation of Masked Autoencoders [119.21281960831651]
マスク付きオートエンコーダによって事前訓練された大型モデルの監督下で, 小型ViTモデルのポテンシャルを活かすため, 汎用型蒸留法(G2SD)を提案する。
G2SDでは、バニラViT-Smallモデルは98.7%、98.1%、99.3%のパフォーマンスを画像分類、オブジェクト検出、セマンティックセグメンテーションのために達成している。
論文 参考訳(メタデータ) (2023-02-28T17:13:14Z) - Exploring The Role of Mean Teachers in Self-supervised Masked
Auto-Encoders [64.03000385267339]
マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。
簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。
RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
論文 参考訳(メタデータ) (2022-10-05T08:08:55Z) - Ensemble Transformer for Efficient and Accurate Ranking Tasks: an
Application to Question Answering Systems [99.13795374152997]
本研究では,大きな変圧器のアンサンブルを1つの小さなモデルに蒸留するニューラルネットワークを提案する。
MHSモデルは、入力をエンコードするために使用されるトランスフォーマー層のスタックと、ランキングヘッドのセットの2つのコンポーネントから構成される。
従来の蒸留法とは異なり,本手法では,アンサンブルメンバーの多様性を保ちつつ,個々のモデルを教師として利用している。
論文 参考訳(メタデータ) (2022-01-15T06:21:01Z) - SiT: Self-supervised vIsion Transformer [23.265568744478333]
自然言語処理(NLP)では、自己監督学習とトランスフォーマーはすでに選択の方法です。
本稿では,sit(self-supervised vision transformers)を提案し,プリテキストモデルを得るための自己教師付き学習機構について検討する。
小規模データセットの下流分類タスクに対して,事前学習したsatを微調整可能であることを示す。
論文 参考訳(メタデータ) (2021-04-08T08:34:04Z) - Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。
より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
論文 参考訳(メタデータ) (2020-06-23T15:58:22Z) - MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression
of Pre-Trained Transformers [117.67424061746247]
本稿では,大規模トランスフォーマーをベースとした事前学習モデルの簡易かつ効率的な圧縮手法を提案する。
本稿では,教師の最後のトランスフォーマー層の自己保持モジュールを蒸留することを提案する。
実験結果から, 単言語モデルでは, 学生モデルのパラメータサイズの違いにより, 最先端のベースラインよりも優れた結果が得られた。
論文 参考訳(メタデータ) (2020-02-25T15:21:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。