論文の概要: Distilling Large Language Models into Tiny and Effective Students using pQRNN

• arxiv url: http://arxiv.org/abs/2101.08890v1
• Date: Thu, 21 Jan 2021 23:45:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 08:06:52.025029
• Title: Distilling Large Language Models into Tiny and Effective Students using pQRNN
• Title（参考訳）: pqrnnを用いた小学生への大規模言語モデルの蒸留
• Authors: Prabhu Kaliamoorthi, Aditya Siddhant, Edward Li, Melvin Johnson
• Abstract要約: pQRNNはプロジェクションベースの埋め込み不要なニューラルエンコーダで、自然言語処理タスクに小さく、効果的である。 また,pQRNNは,140倍小さいにもかかわらず,事前学習によるLSTMモデルよりも有意に優れていた。
• 参考スコア（独自算出の注目度）: 7.935058790320271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large pre-trained multilingual models like mBERT, XLM-R achieve state of the art results on language understanding tasks. However, they are not well suited for latency critical applications on both servers and edge devices. It's important to reduce the memory and compute resources required by these models. To this end, we propose pQRNN, a projection-based embedding-free neural encoder that is tiny and effective for natural language processing tasks. Without pre-training, pQRNNs significantly outperform LSTM models with pre-trained embeddings despite being 140x smaller. With the same number of parameters, they outperform transformer baselines thereby showcasing their parameter efficiency. Additionally, we show that pQRNNs are effective student architectures for distilling large pre-trained language models. We perform careful ablations which study the effect of pQRNN parameters, data augmentation, and distillation settings. On MTOP, a challenging multilingual semantic parsing dataset, pQRNN students achieve 95.9\% of the performance of an mBERT teacher while being 350x smaller. On mATIS, a popular parsing task, pQRNN students on average are able to get to 97.1\% of the teacher while again being 350x smaller. Our strong results suggest that our approach is great for latency-sensitive applications while being able to leverage large mBERT-like models.
• Abstract（参考訳）: mBERTやXLM-Rのような訓練済みの大規模多言語モデルでは、言語理解タスクにおける技術結果の状態を達成している。 しかし、それらはサーバーとエッジデバイスの両方の遅延クリティカルなアプリケーションには適していない。 これらのモデルに必要なメモリと計算リソースを減らすことが重要です。 この目的のために,提案するpQRNNは,自然言語処理タスクに小型かつ効果的であるプロジェクションベースの埋め込み不要なニューラルエンコーダである。 事前トレーニングなしでは、pQRNNは、140倍小さいにもかかわらず、事前トレーニングされた埋め込みでLSTMモデルよりも大幅に優れていた。 同じパラメータ数で、それらはトランスフォーマーベースラインを上回り、パラメータ効率を示す。 さらに,pQRNNは,大規模な事前学習言語モデルの蒸留に有効な学生アーキテクチャであることを示す。 我々は、pQRNNパラメータ、データ拡張、蒸留設定の影響を慎重に研究する。 MTOPでは、pQRNNの学生がmBERT教師のパフォーマンスの95.9%を達成し、350倍小さい。 一般的なパースタスクであるmatisでは、平均してpqrnnの学生は教師の97.1\%に達するが、350倍も小さくなる。 我々の強い結果は、我々のアプローチが大きなmBERTのようなモデルを活用しながら、レイテンシに敏感なアプリケーションに最適であることを示唆している。

関連論文リスト

• MicroBERT: Effective Training of Low-resource Monolingual BERTs through Parameter Reduction and Multitask Learning [12.640283469603357]
  トランスフォーマー言語モデル(TLM)は、ほとんどのNLPタスクには必須であるが、必要な事前学習データが多いため、低リソース言語では作成が困難である。 本研究では,低リソース環境下でモノリンガルなTLMを訓練する2つの手法について検討する。 7つの多様な言語から得られた結果から,私たちのモデルであるMicroBERTは,典型的なモノリンガルなTLM事前学習手法と比較して,下流タスク評価において顕著な改善を達成できたことが示唆された。
  論文  参考訳（メタデータ） (2022-12-23T18:18:20Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
  我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
  論文  参考訳（メタデータ） (2022-04-05T16:11:45Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)
• Learning Compact Metrics for MT [21.408684470261342]
  最先端多言語モデルであるRemBERTを用いて,多言語性とモデルキャパシティのトレードオフについて検討する。 モデルのサイズが実際に言語間移動のボトルネックであることを示し、蒸留がこのボトルネックにどのように対処できるかを示す。 提案手法は,バニラ微調整よりも最大10.5%向上し,パラメータの3分の1しか使用せず,RemBERTの性能の92.6%に達する。
  論文  参考訳（メタデータ） (2021-10-12T20:39:35Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention [119.77305080520718]
  2つの新しい手法を用いてBERTモデルとRoBERTaモデルを改善する新しいモデルアーキテクチャDeBERTaを提案する。 これらの手法により,モデル事前学習の効率化と,自然言語理解(NLU)と自然言語生成(NLG)の両方の性能向上が期待できる。
  論文  参考訳（メタデータ） (2020-06-05T19:54:34Z)
• XtremeDistil: Multi-stage Distillation for Massive Multilingual Models [19.393371230300225]
  我々は多言語名前付きエンティティ認識(NER)に着目して知識蒸留を研究する。 本稿では,教師の内部表現を教師のアーキテクチャに依存しない段階的最適化手法を提案する。 提案手法は,NER 41言語に対する F1 スコアの95% を保ちながら,パラメータの35倍,バッチ推論の51倍のレイテンシで MBERT ライクな教師モデルを大幅に圧縮することを示した。
  論文  参考訳（メタデータ） (2020-04-12T19:49:27Z)
• MiniLM: Deep Self-Attention Distillation for Task-Agnostic Compression of Pre-Trained Transformers [117.67424061746247]
  本稿では,大規模トランスフォーマーをベースとした事前学習モデルの簡易かつ効率的な圧縮手法を提案する。 本稿では,教師の最後のトランスフォーマー層の自己保持モジュールを蒸留することを提案する。 実験結果から, 単言語モデルでは, 学生モデルのパラメータサイズの違いにより, 最先端のベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-02-25T15:21:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。