論文の概要: Outlier Weighed Layerwise Sparsity (OWL): A Missing Secret Sauce for
Pruning LLMs to High Sparsity
- arxiv url: http://arxiv.org/abs/2310.05175v2
- Date: Fri, 16 Feb 2024 22:38:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 05:35:40.713030
- Title: Outlier Weighed Layerwise Sparsity (OWL): A Missing Secret Sauce for
Pruning LLMs to High Sparsity
- Title(参考訳): Outlier Weighed Layerwise Sparsity (OWL) : LLMを高スパシティに加工するための秘密の欠如
- Authors: Lu Yin, You Wu, Zhenyu Zhang, Cheng-Yu Hsieh, Yaqing Wang, Yiling Jia,
Mykola Pechenizkiy, Yi Liang, Zhangyang Wang, Shiwei Liu
- Abstract要約: 大規模言語モデル(LLM)は、様々な領域にわたる顕著なパフォーマンスで有名である。
本研究では,不均一層幅比の調整を施した新しいLCMプルーニング手法について紹介する。
OWL は、最先端の Wanda と SparseGPT を 61.22 で上回り、6.80 パープレキシティを 70% で上回っている。
- 参考スコア(独自算出の注目度): 81.61101014156924
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs), renowned for their remarkable performance
across diverse domains, present a challenge when it comes to practical
deployment due to their colossal model size. In response to this challenge,
efforts have been directed toward the application of traditional network
pruning techniques to LLMs, uncovering a massive number of parameters that can
be pruned in one-shot without hurting performance. Prevailing LLM pruning
strategies have consistently adhered to the practice of uniformly pruning all
layers at equivalent sparsity, resulting in robust performance. However, this
observation stands in contrast to the prevailing trends observed in the field
of vision models, where non-uniform layerwise sparsity typically yields
stronger results. To understand the underlying reasons for this disparity, we
conduct a comprehensive study and discover a strong correlation with the
emergence of activation outliers in LLMs. Inspired by this finding, we
introduce a novel LLM pruning methodology that incorporates a tailored set of
non-uniform layerwise sparsity ratios, termed as Outlier Weighed Layerwise
sparsity (OWL). The sparsity ratio of OWL is proportional to the outlier ratio
observed within each layer, facilitating a more effective alignment between
layerwise weight sparsity and outlier ratios. Our empirical evaluation,
conducted across the LLaMA-V1 family and OPT, spanning various benchmarks,
demonstrates the distinct advantages offered by OWL over previous methods. For
instance, OWL exhibits a remarkable performance gain, surpassing the
state-of-the-art Wanda and SparseGPT by 61.22 and 6.80 perplexity at a high
sparsity level of 70%, respectively, while delivering 2x end-to-end inference
speed-up in the DeepSparse inference engine. Codes are available at
https://github.com/luuyin/OWL.
- Abstract(参考訳): 大規模言語モデル(llm)は、さまざまなドメインにまたがる優れたパフォーマンスで知られていますが、そのコロッサルモデルのサイズのため、実用的なデプロイメントでは課題があります。
この課題に対して、従来のネットワークプルーニング手法をLCMに適用することに向けた取り組みが行われ、パフォーマンスを損なうことなく一発でプルーニングできる膨大なパラメータが明らかになった。
一般的なLLMプルーニング戦略は、全ての層を同等の間隔で均一にプルーニングするプラクティスに一貫して従って、堅牢な性能を実現している。
しかしながら、この観察は、非一様層状空間が典型的により強い結果をもたらす視覚モデルで観測される一般的な傾向とは対照的である。
この相違の原因を理解するため、我々は総合的研究を行い、LSMにおけるアクティベーション・アウトリアの出現と強い相関関係を見出した。
この発見に触発されて,不均一層幅比(OWL, Outlier Weighed Layerwise sparsity, Outlier Weighed Layerwise sparsity, Outlier Weighed Layerwise sparsity, OWL)を調整したLLM刈り取り手法を導入した。
OWLの疎度比は各層で観測される外層比に比例し, 層間重量の疎度と外層比との配向がより効果的である。
LLaMA-V1ファミリーにまたがって実施した経験的評価と,様々なベンチマークにまたがるOPTは,OWLが従来手法よりも優れていることを示す。
例えばowlは、最先端のwandaとsparsegptを70%高いスパーシティレベルでそれぞれ61.22と6.80パープレキシティで上回り、deepsparse推論エンジンで2倍のエンドツーエンド推論スピードアップを提供するという、驚くべきパフォーマンス向上を示している。
コードはhttps://github.com/luuyin/owlで入手できる。
関連論文リスト
- ShortGPT: Layers in Large Language Models are More Redundant Than You
Expect [39.791695729504006]
LLM(Large Language Models)の多くの層は高い類似性を示し、いくつかの層はネットワーク機能において無視できる役割を担っている。
レイヤ除去という,冗長なレイヤを直接削除する,簡単なプルーニング手法を提案する。
実験により,我々はShortGPT(ショートGPT)と呼ぶ手法を,モデルプルーニングにおける従来のSOTA(State-of-the-art)手法よりも大幅に優れていることを示した。
論文 参考訳(メタデータ) (2024-03-06T17:04:18Z) - Identifying Factual Inconsistency in Summaries: Towards Effective
Utilization of Large Language Model [50.71344457241456]
この研究は2つの重要な疑問に焦点をあてる: 現実の不整合検出に大規模言語モデル(LLM)を利用する最善の方法は何か、そして、どのようにしてより小さなLCMを高い効率と有効性で蒸留できるのか?
実験の結果、LLM自体が適切なパラダイム設計の下でこのタスクを無断で解決でき、訓練されたベースラインが平均2.8%を超えることが示唆された。
実用性をさらに向上するため,我々はより小型のオープンソースLCMを蒸留し,要約全体を高精度にまとめることを目指す訓練戦略を提案する。
論文 参考訳(メタデータ) (2024-02-20T08:41:23Z) - Why Lift so Heavy? Slimming Large Language Models by Cutting Off the
Layers [2.1165011830664673]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対処する際、優れた能力を持っている。
これらのモデルの厳密なサイズは、ストレージ、トレーニング、推論において、層積み重ねによる数十億のパラメータを含むため、課題を生じさせる。
レイヤが少なくても、LLMは、特にテキスト分類タスクのプロンプトベースの微調整において、類似またはより良いパフォーマンスレベルを維持していることを示す。
論文 参考訳(メタデータ) (2024-02-18T20:47:10Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳(メタデータ) (2024-01-20T20:25:17Z) - One-Shot Sensitivity-Aware Mixed Sparsity Pruning for Large Language
Models [45.516380480706445]
そこで本研究では, ヘッセン感度を意識した混合疎水性プルーニング法を, 再トレーニングを必要とせず, 最低50%の疎水性まで適用する方法を提案する。
提案手法の利点は, 空間が極めて高い場合にさらに顕著である。
論文 参考訳(メタデータ) (2023-10-14T05:43:09Z) - ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language
Models [70.45441031021291]
LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。
LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。
本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
論文 参考訳(メタデータ) (2023-10-04T17:34:00Z) - Mitigating the Alignment Tax of RLHF [77.7879015461373]
人間フィードバックによる強化学習(Reinforcement Learning with Human Feedback, RLHF)は、アライメント税(アライメント税)としても知られる。
本稿では,RLHFモデル重みを補間するモデル平均化を提案し,より効率的な報酬税前処理を実現する。
論文 参考訳(メタデータ) (2023-09-12T14:16:54Z) - DoLa: Decoding by Contrasting Layers Improves Factuality in Large
Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。
事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。
コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文 参考訳(メタデータ) (2023-09-07T17:45:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。