論文の概要: MINI-LLM: Memory-Efficient Structured Pruning for Large Language Models

• arxiv url: http://arxiv.org/abs/2407.11681v1
• Date: Tue, 16 Jul 2024 12:59:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 15:02:09.529394
• Title: MINI-LLM: Memory-Efficient Structured Pruning for Large Language Models
• Title（参考訳）: MINI-LLM:大規模言語モデルのためのメモリ効率の良い構造化プルーニング
• Authors: Hongrong Cheng, Miao Zhang, Javen Qinfeng Shi,
• Abstract要約: 大規模言語モデル(LLM)は劇的に成長する。 これらのモデルの圧縮と高速化の傾向が増している。 本研究では, 粒度, アクティベーション, 勾配を適切に統合したハイブリッドプルーニング基準を提案する。
• 参考スコア（独自算出の注目度）: 20.958265043544603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) grow dramatically in size, there is an increasing trend in compressing and speeding up these models. Previous studies have highlighted the usefulness of gradients for importance scoring in neural network compressing, especially in pruning medium-size networks. However, the substantial memory requirements involved in calculating gradients with backpropagation impede the utilization of gradients in guiding LLM pruning. As a result, most pruning strategies for LLMs rely on gradient-free criteria, such as weight magnitudes or a mix of magnitudes and activations. In this paper, we devise a hybrid pruning criterion, which appropriately integrates magnitude, activation, and gradient to capitalize on feature map sensitivity for pruning LLMs. To overcome memory requirement barriers, we estimate gradients using only forward passes. Based on this, we propose a Memory-effIcieNt structured prunIng procedure for LLMs (MINI-LLM) to remove no-critical channels and multi-attention heads. Experimental results demonstrate the superior performance of MINI-LLM over existing gradient-free methods on three LLMs: LLaMA, BLOOM, and OPT across various downstream tasks (classification, multiple-choice, and generation), while MINI-LLM maintains a GPU memory footprint akin to gradient-free methods.
• Abstract（参考訳）: LLM(Large Language Models)のサイズが劇的に大きくなるにつれて、これらのモデルの圧縮と高速化の傾向が高まっている。 従来の研究は、特に中規模ネットワークの刈り取りにおいて、ニューラルネットワーク圧縮において重要なスコアリングのための勾配の有用性を強調してきた。 しかし, バックプロパゲーションを用いた勾配計算におけるメモリ要求は, LLMプルーニングの誘導における勾配の利用を妨げている。 結果として、LLMのほとんどのプルーニング戦略は、重量等級や、等級とアクティベーションの混合など、勾配のない基準に依存している。 本稿では,LLMにおける特徴マップの感度を高めるために,大きさ,活性化,勾配を適切に統合したハイブリッドプルーニング基準を考案する。 メモリ要求障壁を克服するために、フォワードパスのみを用いて勾配を推定する。 そこで本研究では,LLM (MINI-LLM) のための Memory-effIcieNt 構造化 prunIng プロシージャを提案し,非臨界チャネルとマルチアテンションヘッドを除去する。 LLaMA, BLOOM, OPTの3種類の下流タスク(分類, 多重選択, 生成)に対して, MINI-LLMは勾配のない手法と同様のGPUメモリフットプリントを維持している。

関連論文リスト

• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Mini-batch Coresets for Memory-efficient Training of Large Language Models [41.59038171479036]
  大規模言語モデル(LLM)における大規模ミニバッチの訓練の禁止化 我々は、コアセットによるLLM訓練(CoLM)を提案する。 CoLMは、微調整のメモリ要求を2倍に減らし、4倍大きなミニバッチでトレーニングを上回ります。
  論文  参考訳（メタデータ） (2024-07-28T20:39:16Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Streamlining Redundant Layers to Compress Large Language Models [21.27944103424621]
  本稿では,LLM-Streamlineについて紹介する。 LLM-Streamlineは2つの部分から構成される: 層プルーニング(Layer pruning)は、ターゲットの間隔に基づいて最も重要でない連続的な層を除去する。 実験により, LLM-Streamlineは, 性能および訓練効率の両面において, 先行および同時のプルーニング法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-03-28T04:12:13Z)
• ShortGPT: Layers in Large Language Models are More Redundant Than You Expect [38.148626520751385]
  LLM(Large Language Models)の多くの層は高い類似性を示し、いくつかの層はネットワーク機能において無視できる役割を担っている。 レイヤ除去という,冗長なレイヤを直接削除する,簡単なプルーニング手法を提案する。 実験により,我々はShortGPT(ショートGPT)と呼ぶ手法を,モデルプルーニングにおける従来のSOTA(State-of-the-art)手法よりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2024-03-06T17:04:18Z)
• Beyond Size: How Gradients Shape Pruning Decisions in Large Language Models [30.246821533532017]
  数十億のパラメータを持つ大規模言語モデル(LLM)は、ネットワークプルーニングの主要なターゲットであり、性能を損なうことなくモデルの重みを取り除く。 グラディエントベース言語モデルプルーナー (GBLM-Pruner) と呼ばれる, プレトレーニング済みLLMに対する新しいスペーサ中心プルーニング法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T18:59:54Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。