論文の概要: DipSVD: Dual-importance Protected SVD for Efficient LLM Compression

• arxiv url: http://arxiv.org/abs/2506.20353v1
• Date: Wed, 25 Jun 2025 12:04:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.725531
• Title: DipSVD: Dual-importance Protected SVD for Efficient LLM Compression
• Title（参考訳）: DipSVD: 効率的なLLM圧縮のためのデュアルインパタンス保護SVD
• Authors: Xuan Ding, Rui Sun, Yunjian Zhang, Xiu Yan, Yueqi Zhou, Kaihao Huang, Suzhong Fu, Chuanlong Xie, Yao Zhu,
• Abstract要約: DipSVDは複数のベンチマークで既存のSVDベースの圧縮手法より優れている。 本稿では,SVDに基づく圧縮手法を強化するための二重レベル重要度保護機構を提案する。
• 参考スコア（独自算出の注目度）: 12.997409692786848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ever-increasing computational demands and deployment costs of large language models (LLMs) have spurred numerous compressing methods. Compared to quantization and unstructured pruning, SVD compression offers superior hardware compatibility and theoretical guarantees. However, existing SVD-based methods focus on the overall discrepancy between the original and compressed matrices while overlooking the protection of critical components within the matrix, which leads to inferior performance in the compressed models. This paper proposes a dual-level importance protection mechanism to enhance SVD-based compression methods: (1) local importance protection: preserving the most critical singular vectors within each weight matrix through channel-weighted data whitening; and (2) global importance protection: enabling less important layers to bear a greater portion of the compression burden through either a heuristic or optimization-based approach, thereby minimizing the impact of compression on critical layers. Extensive experiments demonstrate that DipSVD outperforms existing SVD-based compression approaches across multiple benchmarks, achieving superior model performance especially at high model compression ratios.
• Abstract（参考訳）: 大規模言語モデル(LLM)の継続的な計算要求と展開コストは、多くの圧縮手法を刺激している。 量子化や非構造化プルーニングと比較して、SVD圧縮は優れたハードウェア互換性と理論的保証を提供する。 しかし、既存のSVDベースの手法は、行列内の臨界成分の保護を見越しながら、元の行列と圧縮された行列の全体的な相違に焦点を合わせ、圧縮されたモデルでは性能が劣る。 本稿では,SVDに基づく圧縮手法を強化するための二重レベル重要度保護機構を提案する。(1)局所的重要度保護:チャネル重み付きデータ白化により,各重み行列内の最重要な特異点ベクトルを保存し,(2)大域的重要度保護:ヒューリスティックあるいは最適化に基づくアプローチにより,重要度の高い圧縮負担の大部分を許容し,臨界層に対する圧縮の影響を最小限に抑える。 大規模な実験により、DipSVDは既存のSVDベースの圧縮手法を複数のベンチマークで上回り、特に高いモデル圧縮比で優れたモデル性能を達成することを示した。

関連論文リスト

• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [81.81027217759433]
  大きな言語モデル(LLM)はキーバリュー(KV)キャッシュを保存するのに必要な過剰なメモリによって制約されることが多い。 近年,KVキャッシュの隠蔽次元の低減について検討されている。 本稿では,KVキャッシュの隠れ次元を削減した後学習KVキャッシュ圧縮手法ReCalKVを提案する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• ResSVD: Residual Compensated SVD for Large Language Model Compression [12.539815070352116]
  大規模言語モデル(LLM)は、幅広い下流自然言語処理タスクにおいて印象的な機能を示している。 本稿では,ポストトレーニング後のSVDに基づくLLM圧縮手法であるResSVDを提案する。 トラニケート過程中に発生する残留行列を利用してトラニケート損失を低減する。
  論文  参考訳（メタデータ） (2025-05-26T15:14:54Z)
• SVD-LLM V2: Optimizing Singular Value Truncation for Large Language Model Compression [10.991519727445231]
  Singular Value Decomposition (SVD) はLarge Language Models (LLM) のための有望な圧縮手法である 既存のSVDベースの圧縮手法は、トラクション損失の低減に不足しており、圧縮されたモデルでは競争性能が低下する。 SVD圧縮における特異値切り込みを2つの手法で最適化するSVD-LLM V2を提案する。
  論文  参考訳（メタデータ） (2025-03-16T03:27:12Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [84.60646883395454]
  Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:34:37Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression [14.818355326032538]
  Singular Value Decomposition (SVD)は、LLM(Large Language Models)圧縮のための有望なソリューションを提供する。 しかし、より小さな特異値の切り抜きは、圧縮損失が増加し、SVD切り込み後の圧縮重量の更新が欠如する可能性がある。 本稿では,既存の手法の限界に対処するSVD-LLM法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:31:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。