論文の概要: Magnitude Pruning of Large Pretrained Transformer Models with a Mixture Gaussian Prior

• arxiv url: http://arxiv.org/abs/2411.00969v1
• Date: Fri, 01 Nov 2024 18:39:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:44:11.996946
• Title: Magnitude Pruning of Large Pretrained Transformer Models with a Mixture Gaussian Prior
• Title（参考訳）: 混合ガウス前駆体を用いた大規模事前学習型変圧器モデルのマグニチュード・プルーニング
• Authors: Mingxuan Zhang, Yan Sun, Faming Liang,
• Abstract要約: 混合ガウシアンプレプニングと呼ばれる新しい等級ベースプルーニングアルゴリズムを導入する。 それはモデルの表現力を維持することを目的としています。 スパース変圧器の整合性に関する理論的正当性を提供する。
• 参考スコア（独自算出の注目度）: 9.878774148693575
• License:
• Abstract: Large pretrained transformer models have revolutionized modern AI applications with their state-of-the-art performance in natural language processing (NLP). However, their substantial parameter count poses challenges for real-world deployment. To address this, researchers often reduce model size by pruning parameters based on their magnitude or sensitivity. Previous research has demonstrated the limitations of magnitude pruning, especially in the context of transfer learning for modern NLP tasks. In this paper, we introduce a new magnitude-based pruning algorithm called mixture Gaussian prior pruning (MGPP), which employs a mixture Gaussian prior for regularization. MGPP prunes non-expressive weights under the guidance of the mixture Gaussian prior, aiming to retain the model's expressive capability. Extensive evaluations across various NLP tasks, including natural language understanding, question answering, and natural language generation, demonstrate the superiority of MGPP over existing pruning methods, particularly in high sparsity settings. Additionally, we provide a theoretical justification for the consistency of the sparse transformer, shedding light on the effectiveness of the proposed pruning method.
• Abstract（参考訳）: 大規模な事前学習型トランスフォーマーモデルは、自然言語処理(NLP)における最先端のパフォーマンスで、現代のAIアプリケーションに革命をもたらした。 しかし、そのパラメータのかなりの数は、現実世界のデプロイメントに課題をもたらす。 これを解決するために、研究者はしばしば、その大きさや感度に基づいてパラメータを刈り取ることで、モデルのサイズを減らす。 従来の研究は、特に最近のNLPタスクにおける伝達学習の文脈において、マグニチュードプルーニングの限界を実証してきた。 本稿では,Gussian prepruning (MGPP) と呼ばれる,Gussian prepruning という混合型プルーニングアルゴリズムを提案する。 MGPPは、モデルの表現能力を維持することを目的として、ガウシアン(Gaussian)の指導のもと、非表現重量をプルーンする。 自然言語理解や質問応答,自然言語生成など,さまざまなNLPタスクに対する広範囲な評価は,既存の刈り取り法よりもMGPPの方が優れていることを示す。 さらに,スパルス変圧器の整合性に関する理論的正当性を提供し,提案手法の有効性について光を遮蔽する。

関連論文リスト

• SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values [12.137869917556415]
  大規模事前学習モデル(LPM)は、多種多様な自然言語処理やコンピュータビジョンタスクにおいて例外的な性能を示した。 これらのモデルを完全に微調整すると、特にリソース制約のある環境では、大きなメモリの問題が発生します。 本稿では,臨界特異値をトレーニング可能なパラメータとして用いた低ランク行列に対する特異値分解(SVD)を利用した新しいPEFT手法であるSVFitを提案する。
  論文  参考訳（メタデータ） (2024-09-09T08:44:53Z)
• GIFT-SW: Gaussian noise Injected Fine-Tuning of Salient Weights for LLMs [51.02233412547456]
  我々は,Gaussian noise Injected Fine Tuning of Salient Weights (GIFT-SW)と呼ばれる新しいPEFT法を提案する。 本手法では, ガウス雑音を非正弦波に注入しながら, 正弦波列のみを更新する。 LLaMAモデルによる実験により、GIFT-SWは、同じ計算予算の下で、完全な微調整および現代的なPEFTメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-27T14:41:14Z)
• Minimizing Energy Costs in Deep Learning Model Training: The Gaussian Sampling Approach [11.878350833222711]
  ガウス分布からの勾配更新をサンプリングするために, em GradSamp という手法を提案する。 Em GradSampは、勾配の合理化だけでなく、エポック全体のスキップを可能にし、全体的な効率を向上させる。 我々は、標準CNNとトランスフォーマーベースモデルの多種多様なセットにまたがって、我々の仮説を厳格に検証する。
  論文  参考訳（メタデータ） (2024-06-11T15:01:20Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Pruning Pre-trained Language Models with Principled Importance and Self-regularization [18.088550230146247]
  反復プルーニングは、事前訓練された言語モデルにおいて最も効果的な圧縮手法の1つである。 モデル予測を最新のチェックポイントで正規化する自己正規化手法を提案する。 自然言語理解,質問応答,名前付きエンティティ認識,および様々なトランスフォーマーベースのPLMを用いたデータ・テキスト生成に関する実験により,様々な空間レベルにおけるアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-05-21T08:15:12Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)
• Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization [0.0]
  本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。 数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
  論文  参考訳（メタデータ） (2022-09-22T19:23:37Z)
• Evaluating natural language processing models with generalization metrics that do not need access to any training or testing data [66.11139091362078]
  本稿では,Hugingface から事前学習した大規模トランスフォーマーに対して,一般化指標を用いた最初のモデル選択結果を提案する。 ニッチな状況にもかかわらず、ヘビーテール(HT)の観点から派生したメトリクスは、特にNLPタスクにおいて有用である。
  論文  参考訳（メタデータ） (2022-02-06T20:07:35Z)
• Disentangling Generative Factors of Physical Fields Using Variational Autoencoders [0.0]
  本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。 不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
  論文  参考訳（メタデータ） (2021-09-15T16:02:43Z)
• Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to Improve Generalization [89.7882166459412]
  勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。 深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。 低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-31T16:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。