論文の概要: SVD-LLM V2: Optimizing Singular Value Truncation for Large Language Model Compression

• arxiv url: http://arxiv.org/abs/2503.12340v1
• Date: Sun, 16 Mar 2025 03:27:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 16:00:09.773216
• Title: SVD-LLM V2: Optimizing Singular Value Truncation for Large Language Model Compression
• Title（参考訳）: SVD-LLM V2:大言語モデル圧縮のための特異値トラニケーションの最適化
• Authors: Xin Wang, Samiul Alam, Zhongwei Wan, Hui Shen, Mi Zhang,
• Abstract要約: Singular Value Decomposition (SVD) はLarge Language Models (LLM) のための有望な圧縮手法である 既存のSVDベースの圧縮手法は、トラクション損失の低減に不足しており、圧縮されたモデルでは競争性能が低下する。 SVD圧縮における特異値切り込みを2つの手法で最適化するSVD-LLM V2を提案する。
• 参考スコア（独自算出の注目度）: 10.991519727445231
• License:
• Abstract: Despite significant advancements, the practical deployment of Large Language Models (LLMs) is often hampered by their immense sizes, highlighting the need for effective compression techniques. Singular Value Decomposition (SVD) is a promising LLM compression technique. However, existing SVD-based compression methods fall short in reducing truncation losses, leading to less competitive performance in compressed models. In this work, we introduce SVD-LLM V2, a SVD-based LLM compression method that optimizes singular value truncation in SVD compression with two techniques. First, SVD-LLM V2 proposes to use theoretical truncation loss of weight matrices to assign a unique compression ratio to each weight matrix at different layers to accommodate weight redundancy heterogeneity. Second, SVD-LLM V2 proposes loss-optimized weight truncation to ensure that the truncated singular values result in a lower and more stable truncation loss in practice. We evaluate SVD-LLM V2 on ten datasets and five LLMs at various scales. Our results show SVD-LLM V2 outperforms state-of-the-art SVD-based LLM compression methods. Our code is available at https://github.com/AIoT-MLSys-Lab/SVD-LLM
• Abstract（参考訳）: 大幅な進歩にもかかわらず、LLM(Large Language Models)の実践的な展開は、しばしばその巨大なサイズによって妨げられ、効果的な圧縮技術の必要性を強調している。 Singular Value Decomposition (SVD) は有望なLLM圧縮技術である。 しかし、既存のSVDベースの圧縮手法はトラクション損失の低減に乏しく、圧縮モデルでは競争性能が低下する。 本研究では,SVD圧縮における特異値切り出しを最適化するSVD-LLM V2を提案する。 第一に、SVD-LLM V2は、重み行列の理論的切り欠きを利用して、各重み行列に異なる層における一意の圧縮比を割り当て、重み冗長性の不均一性に対応することを提案する。 第二に、SVD-LLM V2 は減量最適化による減量を提案し、減算された特異値が実際により小さくより安定した減量損失をもたらすことを保証する。 SVD-LLM V2を10のデータセットと5のLPMで様々なスケールで評価した。 以上の結果から,SVD-LLM V2 は最先端の SVD ベースの LLM 圧縮法よりも優れていた。 私たちのコードはhttps://github.com/AIoT-MLSys-Lab/SVD-LLMで利用可能です。

関連論文リスト

• Dobi-SVD: Differentiable SVD for LLM Compression and Some New Perspectives [59.46211685419206]
  SVDの最適利用は、単にアクティベーションを最適化距離として使うのではなく、停止するアクティベーションに関係していると論じる。 本稿では, SVD に基づく LLM 圧縮に対して, 新たな原理的アプローチを確立する Dobi-SVD を提案する。
  論文  参考訳（メタデータ） (2025-02-04T21:17:51Z)
• AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [84.60646883395454]
  Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:34:37Z)
• BiMaCoSR: Binary One-Step Diffusion Model Leveraging Flexible Matrix Compression for Real Super-Resolution [63.777210548110425]
  本稿では,バイナライゼーションと1段階蒸留を組み合わせたBiMaCoSRを提案する。 BiMaCoSRはFPに比べて23.8倍圧縮率と27.4倍スピードアップ比を達成した。
  論文  参考訳（メタデータ） (2025-02-01T06:34:55Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Basis Sharing: Cross-Layer Parameter Sharing for Large Language Model Compression [5.206085750261924]
  大規模言語モデル(LLM)は、推論においてかなりの量のメモリストレージを必要とする。 本稿では,特異値分解を伴う異なる層間のパラメータ共有について検討する。 総合的な実験により、Basis Sharingは最先端のSVDベースの圧縮アプローチより優れていることが示された。
  論文  参考訳（メタデータ） (2024-10-02T14:30:02Z)
• SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression [14.818355326032538]
  Singular Value Decomposition (SVD)は、LLM(Large Language Models)圧縮のための有望なソリューションを提供する。 しかし、より小さな特異値の切り抜きは、圧縮損失が増加し、SVD切り込み後の圧縮重量の更新が欠如する可能性がある。 本稿では,既存の手法の限界に対処するSVD-LLM法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:31:18Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Language model compression with weighted low-rank factorization [73.61874728240568]
  本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。 結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。 提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-06-30T21:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。