論文の概要: Compressing Large-Scale Transformer-Based Models: A Case Study on BERT

• arxiv url: http://arxiv.org/abs/2002.11985v2
• Date: Wed, 2 Jun 2021 02:38:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 07:38:10.411967
• Title: Compressing Large-Scale Transformer-Based Models: A Case Study on BERT
• Title（参考訳）: 大規模変圧器モデル圧縮:BERTを事例として
• Authors: Prakhar Ganesh, Yao Chen, Xin Lou, Mohammad Ali Khan, Yin Yang, Hassan Sajjad, Preslav Nakov, Deming Chen, Marianne Winslett
• Abstract要約: 事前訓練されたTransformerベースのモデルは、様々な自然言語処理(NLP)タスクに対して最先端のパフォーマンスを達成した。 これらのモデルは数十億のパラメータを持ち、そのため、リソース不足と計算集約が多すぎて、低機能デバイスやアプリケーションに適合しない。 これに対する潜在的な対策の1つはモデル圧縮であり、多くの研究が注目されている。
• 参考スコア（独自算出の注目度）: 41.04066537294312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained Transformer-based models have achieved state-of-the-art performance for various Natural Language Processing (NLP) tasks. However, these models often have billions of parameters, and, thus, are too resource-hungry and computation-intensive to suit low-capability devices or applications with strict latency requirements. One potential remedy for this is model compression, which has attracted a lot of research attention. Here, we summarize the research in compressing Transformers, focusing on the especially popular BERT model. In particular, we survey the state of the art in compression for BERT, we clarify the current best practices for compressing large-scale Transformer models, and we provide insights into the workings of various methods. Our categorization and analysis also shed light on promising future research directions for achieving lightweight, accurate, and generic NLP models.
• Abstract（参考訳）: 事前訓練されたTransformerベースのモデルは、様々な自然言語処理(NLP)タスクに対して最先端のパフォーマンスを達成した。 しかし、これらのモデルは何十億ものパラメータを持ち、したがってリソース不足で計算集約的なので、低機能デバイスや厳格なレイテンシ要件を持つアプリケーションに適している。 この可能性の1つはモデル圧縮であり、多くの研究の注目を集めている。 本稿では,特に人気のあるBERTモデルに着目し,トランスフォーマーの圧縮に関する研究を要約する。 特に, BERTの圧縮技術の現状を調査し, 大規模トランスフォーマーモデルの圧縮における現在のベストプラクティスを明らかにするとともに, 各種手法の動作に関する知見を提供する。 我々の分類と分析は、軽量で正確で汎用的なNLPモデルを実現するための将来的な研究の方向性にも光を当てています。

関連論文リスト

• A Survey on Transformer Compression [84.18094368700379]
  自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす モデル圧縮法は、Transformerのメモリと計算コストを削減する。 この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:16:28Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Knowledge Distillation in Vision Transformers: A Critical Review [6.508088032296086]
  ビジョントランスフォーマー(ViT)は、畳み込みニューラルネットワーク(CNN)よりも優れたパフォーマンス向上を実証した。 モデル圧縮は、最近、潜在的治療としてかなりの研究の注目を集めている。 本稿では、VTモデルの効率的な圧縮のためのKDに基づく様々なアプローチについて論じる。
  論文  参考訳（メタデータ） (2023-02-04T06:30:57Z)
• MiniALBERT: Model Distillation via Parameter-Efficient Recursive Transformers [12.432191400869002]
  MiniALBERTは、完全にパラメータ化されたLM(BERTなど)の知識をコンパクトな再帰的な学生に変換する技術である。 提案したモデルを,様々な一般的・バイオメディカルなNLPタスクで検証し,その有効性を実証し,最先端および既存のコンパクトモデルと比較した。
  論文  参考訳（メタデータ） (2022-10-12T17:23:21Z)
• PLATON: Pruning Large Transformer Models with Upper Confidence Bound of Weight Importance [114.1541203743303]
  本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。 我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2022-06-25T05:38:39Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Pruning Attention Heads of Transformer Models Using A* Search: A Novel Approach to Compress Big NLP Architectures [2.8768884210003605]
  冗長なアテンションヘッドを排除してトランスモデルを圧縮するための新しいプルーニングアルゴリズムを提案する。 以上の結果から,BERT変圧器モデルにおける注目ヘッドの最大40%を精度を損なうことなく除去できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-28T15:39:11Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。