論文の概要: Structured Pruning Learns Compact and Accurate Models

• arxiv url: http://arxiv.org/abs/2204.00408v1
• Date: Fri, 1 Apr 2022 13:09:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-04 13:59:16.694296
• Title: Structured Pruning Learns Compact and Accurate Models
• Title（参考訳）: 構造化プルーニングはコンパクトで正確なモデルを学ぶ
• Authors: Mengzhou Xia, Zexuan Zhong, Danqi Chen
• Abstract要約: タスク固有の構造化プルーニング法CoFi(粗粒および細粒のプルーニング)を提案する。 CoFiは高度に並列化可能なワークを提供し、蒸留方法を精度とレイテンシの両方で一致させる。 GLUEおよびSQuADデータセットを用いた実験により、CoFiは10倍以上のスピードアップと小さな精度低下でモデルを生成することが示された。
• 参考スコア（独自算出の注目度）: 28.54826400747667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing size of neural language models has led to increased attention in model compression. The two predominant approaches are pruning, which gradually removes weights from a pre-trained model, and distillation, which trains a smaller compact model to match a larger one. Pruning methods can significantly reduce the model size but hardly achieve large speedups as distillation. However, distillation methods require large amounts of unlabeled data and are expensive to train. In this work, we propose a task-specific structured pruning method CoFi (Coarse- and Fine-grained Pruning), which delivers highly parallelizable subnetworks and matches the distillation methods in both accuracy and latency, without resorting to any unlabeled data. Our key insight is to jointly prune coarse-grained (e.g., layers) and fine-grained (e.g., heads and hidden units) modules, which controls the pruning decision of each parameter with masks of different granularity. We also devise a layerwise distillation strategy to transfer knowledge from unpruned to pruned models during optimization. Our experiments on GLUE and SQuAD datasets show that CoFi yields models with over 10x speedups with a small accuracy drop, showing its effectiveness and efficiency compared to previous pruning and distillation approaches.
• Abstract（参考訳）: ニューラルネットワークのモデルのサイズが大きくなると、モデル圧縮に注目が集まっている。 2つの主要なアプローチは、プレトレーニングされたモデルから徐々に重量を除去するプルーニング(pruning)と、より小さなコンパクトモデルでより大きなモデルと一致するように訓練する蒸留である。 プルーニング法はモデルサイズを著しく削減できるが、蒸留として大きなスピードアップを達成できない。 しかし、蒸留法は大量のラベルのないデータを必要とし、訓練に費用がかかる。 本研究では,高度に並列化可能なサブネットワークを供給し,ラベルのないデータに頼らずに蒸留法を精度とレイテンシの両立させるタスク特有な構造的プルーニング手法であるcofi(coarse- and fine-fine-pruning)を提案する。 我々の重要な洞察は、粗い粒度(例えば層)と細粒度(例えば、頭と隠れた単位)のモジュールを共同でプーンし、異なる粒度のマスクで各パラメータのプルーニング決定を制御することである。 また,最適化中に未熟モデルから未熟モデルへ知識を伝達するための層別蒸留戦略も考案した。 接着剤およびスクワッドデータセットを用いた実験により,cofiは10倍以上の速度アップを持つモデルに対して,精度低下が小さいことを示し,従来のプルーニングおよび蒸留法と比較して,その有効性と効率を示した。

関連論文リスト

• One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
  本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。 本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。 GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-12T07:28:40Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Structural Pruning for Diffusion Models [65.02607075556742]
  Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。 複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-18T12:38:21Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• Gradient-based Intra-attention Pruning on Pre-trained Language Models [21.444503777215637]
  本稿では,GRAIN (Gradient-based intra-attention pruning) を用いた構造化プルーニング手法を提案する。 GRAINは、アテンション内構造を検査し、プーンし、構造探索空間を大きく拡張し、より柔軟なモデルを可能にする。 GLUE、SQuAD、CoNLL 2003の実験では、GRAINは特に高頻度で他の手法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-12-15T06:52:31Z)
• Combining Compressions for Multiplicative Size Scaling on Natural Language Tasks [7.813460653362095]
  量子化、知識蒸留、マグニチュードプルーニングは、NLPにおけるニューラルネットワーク圧縮の最も一般的な方法の一つである。 6つのBERTアーキテクチャサイズと8つのGLUEタスクで、精度とモデルサイズとのトレードオフを比較します。 定量化と蒸留は、プルーニングよりも常に大きな利益をもたらすことがわかった。
  論文  参考訳（メタデータ） (2022-08-20T14:01:56Z)
• Train Flat, Then Compress: Sharpness-Aware Minimization Learns More Compressible Models [7.6356407698088]
  不要なパラメータを抽出することは、大きなモデルを圧縮するための単純で効果的な方法として現れている。 平らな最小値の最適化は、標準Adamの最適化よりもパラメータの圧縮性が高いことを示す。
  論文  参考訳（メタデータ） (2022-05-25T11:54:37Z)
• Block Pruning For Faster Transformers [89.70392810063247]
  小型モデルと高速モデルの両方を対象としたブロックプルーニング手法を提案する。 このアプローチは、アテンションヘッドのような基盤となるモデルの完全なコンポーネントを抽出することを学ぶ。
  論文  参考訳（メタデータ） (2021-09-10T12:46:32Z)
• Pre-trained Summarization Distillation [121.14806854092672]
  近年の分類・回帰作業におけるBERT蒸留の研究は, 直接的知識蒸留による高い性能を示している。 あるいは、機械翻訳の実践者は擬似ラベルを用いて蒸留し、小さなモデルをより大きなモデルの翻訳に基づいて訓練する。 第三に、より単純なアプローチは'shrink and fine-tune' (SFT) であり、より小さな学生モデルにパラメータをコピーして微調整することで、明示的な蒸留を避ける。
  論文  参考訳（メタデータ） (2020-10-24T23:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。