Fugu-MT 論文翻訳(概要): Shortened LLaMA: Depth Pruning for Large Language Models with Comparison of Retraining Methods

論文の概要: Shortened LLaMA: Depth Pruning for Large Language Models with Comparison of Retraining Methods

arxiv url: http://arxiv.org/abs/2402.02834v2
Date: Sun, 23 Jun 2024 08:45:33 GMT
ステータス: 処理完了
システム内更新日: 2024-06-26 02:11:02.839473
Title: Shortened LLaMA: Depth Pruning for Large Language Models with Comparison of Retraining Methods
Title（参考訳）: LLaMAの短縮:再学習法の比較による大規模言語モデルの深さ決定
Authors: Bo-Kyeong Kim, Geonmin Kim, Tae-Ho Kim, Thibault Castells, Shinkook Choi, Junho Shin, Hyoung-Kyu Song,
Abstract要約: 単純深度プルーニングは大規模言語モデル(LLM)を効果的に圧縮できることを示す。我々のプルーニング法は、特にメモリ制約条件下での推論速度を向上する。この作業がコンパクトで有能なLLMの構築に役立つことを願っています。
参考スコア（独自算出の注目度）: 5.135352292810664
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Structured pruning of modern large language models (LLMs) has emerged as a way of decreasing their high computational needs. Width pruning reduces the size of projection weight matrices (e.g., by removing attention heads) while maintaining the number of layers. Depth pruning, in contrast, removes entire layers or blocks, while keeping the size of the remaining weights unchanged. Most current research focuses on either width-only or a blend of width and depth pruning, with little comparative analysis between the two units (width vs. depth) concerning their impact on LLM inference efficiency. In this work, we show that simple depth pruning can effectively compress LLMs while achieving comparable or superior performance to recent width pruning studies. Our pruning method boosts inference speeds, especially under memory-constrained conditions that require limited batch sizes for running LLMs, where width pruning is ineffective. In retraining pruned models for quality recovery, continued pretraining on a large corpus markedly outperforms LoRA-based tuning, particularly at severe pruning ratios. We hope this work can help build compact yet capable LLMs. Code and models can be found at: https://github.com/Nota-NetsPresso/shortened-llm
Abstract（参考訳）: 現代の大規模言語モデル (LLM) の構造的プルーニングは、その高い計算要求を減少させる方法として現れている。ワイドプルーニングは、レイヤー数を維持しながら、投射重量行列(例えば、注意ヘッドを除去して)のサイズを減少させる。対照的に、深さのプルーニングは、残りの重量を一定に保ちながら、すべての層やブロックを除去する。現在、ほとんどの研究は幅のみまたは幅と深さの混合に重点を置いており、LLM推論効率への影響に関する2つの単位(幅と深さ)の比較分析はほとんどない。本研究では,最近のワイドプルーニング研究に匹敵する性能を保ちつつ,LLMを効果的に圧縮できることを示す。提案手法は,特にメモリ制約条件下では,LLMの実行に必要なバッチサイズを制限し,幅切断が有効でない場合に,推論速度を向上する。品質回復のためのプルーニングモデルの再訓練において、大きなコーパスでの事前訓練は、特に厳しいプルーニング比において、LoRAベースのチューニングよりも顕著に優れていた。この作業がコンパクトで有能なLLMの構築に役立つことを願っています。コードとモデルについては、https://github.com/Nota-NetsPresso/shortened-llmを参照してください。

関連論文リスト

BlockPruner: Fine-grained Pruning for Large Language Models [23.523314522663455]
研究によると、大きな言語モデル(LLM)の特定のレイヤは、かなりの冗長性を持ち、これらのレイヤを刈り取ることは、全体的なパフォーマンスに最小限の影響を与える。そこで我々は,BlockPrunerと呼ばれる新しい,トレーニング不要な構造化プルーニング手法を提案する。我々は,BlockPrunerが最先端のベースラインよりも粒度が高く,効率的なプルーニングを実現していることを示す。
論文参考訳（メタデータ） (2024-06-15T11:03:33Z)
Optimization-based Structural Pruning for Large Language Models without Back-Propagation [57.9629676017527]
本稿では,Large-Language Models (LLMs) を用いた最適化に基づく構造解析手法を提案する。本手法は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。提案手法は,A100 GPUの13Bモデルに対して,約35GBのメモリで2.7時間動作する。
論文参考訳（メタデータ） (2024-06-15T09:31:03Z)
Fast and Effective Weight Update for Pruned Large Language Models [0.0]
大きな言語モデル(LLMs)のプルーニングは、その巨大なサイズのため、難しい作業である。最近のアプローチでは、微調整を完全に無視するか、レイヤワイド更新を試みた。乗算器の交互方向法に基づく切削層に対する高速かつ効率的な重み更新アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-01-01T23:10:23Z)
Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs [67.38165028487242]
そこで我々は,DSnoT(Dynamic Sparse No Training, 動的スパース・ノー・トレーニング)を導入した。動的スパーストレーニングにインスパイアされたDSnoTは、密度とスパースLLM間の再構成誤差を最小限に抑える。本稿は, LLMのスパースを, 効率的なトレーニング自由な方法で微調整し, 新たな会場をオープンして, LLMの空間性に大きな可能性を拡大する方法について, 新たな知見を提供する。
論文参考訳（メタデータ） (2023-10-13T07:38:52Z)
Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
論文参考訳（メタデータ） (2023-10-10T15:13:30Z)
A Simple and Effective Pruning Approach for Large Language Models [58.716255689941896]
大規模言語モデル(LLM)は、ネットワークプルーニング手法の自然な候補である。しかし,既存の手法では,2次情報に依存した再訓練や重み復元の問題の解決が求められている。我々は,事前学習したLLMの空間性を高めるために,Wanda (Pruning by Weights and activations) と呼ばれる新しい,単純で効果的な刈り取り法を導入する。
論文参考訳（メタデータ） (2023-06-20T17:18:20Z)
LoRAPrune: Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
論文参考訳（メタデータ） (2023-05-28T15:15:48Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。