論文の概要: Shortened LLaMA: Depth Pruning for Large Language Models with Comparison of Retraining Methods

• arxiv url: http://arxiv.org/abs/2402.02834v2
• Date: Sun, 23 Jun 2024 08:45:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 02:11:02.839473
• Title: Shortened LLaMA: Depth Pruning for Large Language Models with Comparison of Retraining Methods
• Title（参考訳）: LLaMAの短縮:再学習法の比較による大規模言語モデルの深さ決定
• Authors: Bo-Kyeong Kim, Geonmin Kim, Tae-Ho Kim, Thibault Castells, Shinkook Choi, Junho Shin, Hyoung-Kyu Song,
• Abstract要約: 単純深度プルーニングは大規模言語モデル(LLM)を効果的に圧縮できることを示す。 我々のプルーニング法は、特にメモリ制約条件下での推論速度を向上する。 この作業がコンパクトで有能なLLMの構築に役立つことを願っています。
• 参考スコア（独自算出の注目度）: 5.135352292810664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured pruning of modern large language models (LLMs) has emerged as a way of decreasing their high computational needs. Width pruning reduces the size of projection weight matrices (e.g., by removing attention heads) while maintaining the number of layers. Depth pruning, in contrast, removes entire layers or blocks, while keeping the size of the remaining weights unchanged. Most current research focuses on either width-only or a blend of width and depth pruning, with little comparative analysis between the two units (width vs. depth) concerning their impact on LLM inference efficiency. In this work, we show that simple depth pruning can effectively compress LLMs while achieving comparable or superior performance to recent width pruning studies. Our pruning method boosts inference speeds, especially under memory-constrained conditions that require limited batch sizes for running LLMs, where width pruning is ineffective. In retraining pruned models for quality recovery, continued pretraining on a large corpus markedly outperforms LoRA-based tuning, particularly at severe pruning ratios. We hope this work can help build compact yet capable LLMs. Code and models can be found at: https://github.com/Nota-NetsPresso/shortened-llm
• Abstract（参考訳）: 現代の大規模言語モデル (LLM) の構造的プルーニングは、その高い計算要求を減少させる方法として現れている。 ワイドプルーニングは、レイヤー数を維持しながら、投射重量行列(例えば、注意ヘッドを除去して)のサイズを減少させる。 対照的に、深さのプルーニングは、残りの重量を一定に保ちながら、すべての層やブロックを除去する。 現在、ほとんどの研究は幅のみまたは幅と深さの混合に重点を置いており、LLM推論効率への影響に関する2つの単位(幅と深さ)の比較分析はほとんどない。 本研究では,最近のワイドプルーニング研究に匹敵する性能を保ちつつ,LLMを効果的に圧縮できることを示す。 提案手法は,特にメモリ制約条件下では,LLMの実行に必要なバッチサイズを制限し,幅切断が有効でない場合に,推論速度を向上する。 品質回復のためのプルーニングモデルの再訓練において、大きなコーパスでの事前訓練は、特に厳しいプルーニング比において、LoRAベースのチューニングよりも顕著に優れていた。 この作業がコンパクトで有能なLLMの構築に役立つことを願っています。 コードとモデルについては、https://github.com/Nota-NetsPresso/shortened-llmを参照してください。

関連論文リスト

• Reassessing Layer Pruning in LLMs: New Insights and Methods [24.394438652261982]
  単純なアプローチ、すなわち、最後の25%のレイヤをプルーニングし、その後にtextttlm_headと残りの3つのレイヤを微調整することで、非常に高いパフォーマンスが得られることを示す。 私たちはHfaceで最適なモデルウェイトをリリースし、コードはGitHubで入手できる。
  論文  参考訳（メタデータ） (2024-11-23T13:31:16Z)
• Scaling Law for Post-training after Model Pruning [24.9935656519956]
  トランスフォーマーアーキテクチャに基づく大規模言語モデル(LLM)は、様々なドメインやタスクに広く採用されている。 これを軽減するため、高性能を維持しつつ、より効率的なモデルを作成するためにモデルプルーニング技術が開発されている。 本稿では,LLMの学習後要件について検討し,学習後データの最適量を決定するためのスケーリング法を提案する。
  論文  参考訳（メタデータ） (2024-11-15T15:28:42Z)
• Pruning Foundation Models for High Accuracy without Retraining [48.256389781305415]
  基礎モデルや大規模言語モデル(LLM)の展開は、膨大なパラメータと計算量のために困難である。 ワンショットでLLMを再訓練せずにプルーンする訓練後プルーニング法が提案されている。 本実験は,SOTAベースラインと比較して提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-21T01:23:34Z)
• AlphaPruning: Using Heavy-Tailed Self Regularization Theory for Improved Layer-wise Pruning of Large Language Models [94.82766517752418]
  そこで我々は,AlphaPruningを提案する。このAlphaPruningは,より理論的に原理化された方法で,水平方向の空間比を割り振る。 以上よりAlphaPruning prunes LLaMA-7B to 80% sparsity while maintain well perplexity, marking a first in the literature on LLMs。
  論文  参考訳（メタデータ） (2024-10-14T03:35:11Z)
• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
  そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。 動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。 本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
  論文  参考訳（メタデータ） (2023-10-13T07:38:52Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。