論文の概要: CPSVD: Enhancing Large Language Model Compression via Column-Preserving Singular Value Decomposition

• arxiv url: http://arxiv.org/abs/2510.19385v1
• Date: Wed, 22 Oct 2025 09:02:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.442178
• Title: CPSVD: Enhancing Large Language Model Compression via Column-Preserving Singular Value Decomposition
• Title（参考訳）: CPSVD:カラム保存特異値分解による大規模言語モデル圧縮の強化
• Authors: Lin Xv, Jingsheng Gao, Xian Gao, Ting Li, Yuzhuo Fu,
• Abstract要約: textbfColumn-textbfPreserving textbfSingular textbfValue textbfDecomposition (CPSVD)を提案する。 CPSVDは、パラメータ行列をインテリジェントにセグメント化することで、SVDベースのLarge Language Models圧縮を洗練する。 最先端のSVDベースのLLM圧縮手法を一貫して上回り、ゼロショットタスクにおいて低いパープレキシティと高い精度を達成する。
• 参考スコア（独自算出の注目度）: 20.302975265084964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of Large Language Models (LLMs) faces a critical bottleneck in their immense size, necessitating efficient compression techniques. While Singular Value Decomposition (SVD) is a promising approach, existing SVD-based methods treat the entire parameter matrix uniformly, overlooking that SVD approximation errors vary significantly across different matrix parts, which often leads to suboptimal compression. To address this, we propose \textbf{C}olumn-\textbf{P}reserving \textbf{S}ingular \textbf{V}alue \textbf{D}ecomposition (CPSVD), a novel method that refines SVD-based LLM compression by intelligently segmenting the parameter matrix. Unlike traditional SVD, CPSVD identifies and directly preserves matrix columns with high decomposition errors, applying SVD only to columns with low decomposition errors, while precisely determining the optimal balance point between these two strategies to minimize error. Furthermore, leveraging the inherent heterogeneity in decomposition errors across different matrices within an LLM, CPSVD adaptively allocates non-uniform compression rates to modules within that layer, while adhering to a target layer-wise compression ratio, thereby further enhancing compression performance. Extensive experiments demonstrate that CPSVD consistently outperforms state-of-the-art SVD-based LLM compression methods, achieving lower perplexity and higher accuracy on zero-shot tasks.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩は、その巨大なサイズにおいて重大なボトルネックに直面し、効率的な圧縮技術を必要としている。 Singular Value Decomposition (SVD) は有望な手法であるが、既存のSVDベースの手法はパラメータ行列全体を均一に扱う。 そこで本研究では,パラメータ行列をインテリジェントにセグメント化することで,SVDに基づくLLM圧縮を洗練させる新しい手法である CPSVD (textbf{C}olumn-\textbf{P}reserving \textbf{S}ingular \textbf{V}alue \textbf{D}ecomposition) を提案する。 従来のSVDとは異なり、CPSVDは行列列を高い分解誤差で識別し、直接保存する。 さらに、LCM内の異なる行列間の分解誤差の固有の不均一性を利用して、CPSVDはその層内のモジュールに適応的に非一様圧縮率を割り当て、ターゲット層ワイド圧縮比に固執し、圧縮性能をさらに向上する。 拡張実験により、CPSVDは最先端のSVDベースのLLM圧縮法を一貫して上回り、ゼロショットタスクにおいてより低いパープレキシティと高い精度を達成することを示した。

関連論文リスト

• ResSVD: Residual Compensated SVD for Large Language Model Compression [12.539815070352116]
  大規模言語モデル(LLM)は、幅広い下流自然言語処理タスクにおいて印象的な機能を示している。 本稿では,ポストトレーニング後のSVDに基づくLLM圧縮手法であるResSVDを提案する。 トラニケート過程中に発生する残留行列を利用してトラニケート損失を低減する。
  論文  参考訳（メタデータ） (2025-05-26T15:14:54Z)
• AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [75.1196637934987]
  Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:34:37Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ASVD: Activation-aware Singular Value Decomposition for Compressing Large Language Models [49.970828419830355]
  大規模言語モデル(LLM)のための新しい訓練後圧縮パラダイムを提案する。 我々は、アクティベーション対応特異値分解(ASVD)と呼ばれるトレーニング不要の手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T08:41:24Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。