論文の概要: SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression
- arxiv url: http://arxiv.org/abs/2403.07378v3
- Date: Mon, 1 Apr 2024 15:04:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 08:19:18.764737
- Title: SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression
- Title(参考訳): SVD-LLM:大規模言語モデル圧縮のためのトランケーション対応特異値分解
- Authors: Xin Wang, Yu Zheng, Zhongwei Wan, Mi Zhang,
- Abstract要約: 大規模言語モデル(LLM)のための新しいSVDベースの圧縮手法であるSVD-LLMを提案する。
SVD-LLMは、特異値と圧縮損失の直接マッピングを保証するために、トラクション対応のデータホワイトニング戦略を組み込んでいる。
以上の結果から, SVD-LLMは最先端技術, 特に高モデル圧縮比よりも優れていることが示された。
- 参考スコア(独自算出の注目度): 14.818355326032538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advancements in Large Language Models (LLMs) have been hindered by their substantial sizes, which necessitate LLM compression methods for practical deployment. Singular Value Decomposition (SVD) offers a promising solution for LLM compression. However, state-of-the-art SVD-based LLM compression methods have two key limitations: truncating smaller singular values may lead to higher compression loss, and the lack of update on the compressed weight after SVD truncation. In this work, we propose SVD-LLM, a new SVD-based LLM compression method that addresses the limitations of existing methods. SVD-LLM incorporates a truncation-aware data whitening strategy to ensure a direct mapping between singular values and compression loss. Moreover, SVD-LLM adopts a layer-wise closed-form model parameter update strategy to compensate for accuracy degradation under high compression ratios. We evaluate SVD-LLM on a total of 10 datasets and eight models from three different LLM families at four different scales. Our results demonstrate the superiority of SVD-LLM over state-of-the-arts, especially at high model compression ratios.
- Abstract(参考訳): 大規模言語モデル (LLMs) の進歩は, LLM 圧縮法を実用的展開に必要としていた, 相当なサイズによって妨げられている。
Singular Value Decomposition (SVD)は、LLM圧縮のための有望なソリューションを提供する。
しかし、最先端のSVDベースのLLM圧縮法には、2つの重要な制限がある: より小さい特異値の切り抜きは、圧縮損失を増大させ、SVDの切り抜き後の圧縮重量の更新が欠如する。
本研究では,既存の手法の制約に対処する新たなSVD-LLM圧縮手法であるSVD-LLMを提案する。
SVD-LLMは、特異値と圧縮損失の直接マッピングを保証するために、トラクション対応のデータホワイトニング戦略を組み込んでいる。
さらに, SVD-LLMでは, 高圧縮比下での精度劣化を補償するために, 階層単位の閉形式モデル更新戦略を採用している。
SVD-LLMを4つの異なるスケールで3つのLLMファミリーから合計10のデータセットと8つのモデルで評価した。
以上の結果から, SVD-LLMは最先端技術, 特に高モデル圧縮比よりも優れていることが示された。
関連論文リスト
- Everything You Always Wanted to Know About Storage Compressibility of
Pre-Trained ML Models but Were Afraid to Ask [19.612260423937744]
既存のデータ削減技術は、事前訓練されたモデル(PTM)データセットファイルのために特別に設計されていない。
本稿では,ストレージ圧縮性に関するPTMデータセットの現在までの総括的解析について述べる。
我々は、他のいくつかのデータ削減手法とともにELFを統合する圧縮フレームワークであるElvesを開発した。
論文 参考訳(メタデータ) (2024-02-20T23:45:37Z) - A Survey on Transformer Compression [84.18094368700379]
自然言語処理(NLP)とコンピュータビジョン(CV)の領域においてトランスフォーマーは重要な役割を果たす
モデル圧縮法は、Transformerのメモリと計算コストを削減する。
この調査は、Transformerベースのモデルに適用することに焦点を当てた、最近の圧縮方法に関する包括的なレビューを提供する。
論文 参考訳(メタデータ) (2024-02-05T12:16:28Z) - ASVD: Activation-aware Singular Value Decomposition for Compressing
Large Language Models [29.91507136828938]
本稿では,Large Language Models (LLMs) 圧縮のためのポストホック学習自由圧縮パラダイムについて検討する。
本稿では,これらの制約に対処するために,アクティベーション対応特異値分解(ASVD)と呼ばれるトレーニングフリーアプローチを提案する。
実験により、ASVDは推論能力を失うことなく、ネットワークを10%から20%圧縮できることが示された。
論文 参考訳(メタデータ) (2023-12-10T08:41:24Z) - Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。
LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。
LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
論文 参考訳(メタデータ) (2023-10-02T17:42:37Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - ZipLM: Inference-Aware Structured Pruning of Language Models [56.52030193434863]
ZipLMと呼ばれる大規模言語モデル(LLM)に対する新しい構造化圧縮手法を提案する。
ZipLMは、所望のランタイムスピードアップのセットをマッチングしながら、最先端の精度-vs-スピードアップを実現する。
ZipLMはすべての設定で最先端の圧縮モデルを生成する。
論文 参考訳(メタデータ) (2023-02-07T18:55:28Z) - Numerical Optimizations for Weighted Low-rank Estimation on Language
Model [73.12941276331316]
Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。
標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。
本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-02T00:58:02Z) - Reducing The Mismatch Between Marginal and Learned Distributions in
Neural Video Compression [3.093890460224435]
機械学習(ML)技術は圧縮技術の全コンポーネントを学習し、実際の優位性を説明する。
エンドツーエンドのMLモデルは、VVCのような従来のビデオコーデックのパフォーマンスにはまだ達していない。
本稿では,3つの最先端MLビデオ圧縮手法のアモータイズギャップを評価することを提案する。
論文 参考訳(メタデータ) (2022-10-12T21:25:13Z) - Language model compression with weighted low-rank factorization [73.61874728240568]
本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。
結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。
提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-06-30T21:57:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。