論文の概要: CPSVD: Enhancing Large Language Model Compression via Column-Preserving Singular Value Decomposition

• arxiv url: http://arxiv.org/abs/2510.19385v1
• Date: Wed, 22 Oct 2025 09:02:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.442178
• Title: CPSVD: Enhancing Large Language Model Compression via Column-Preserving Singular Value Decomposition
• Title（参考訳）: CPSVD:カラム保存特異値分解による大規模言語モデル圧縮の強化
• Authors: Lin Xv, Jingsheng Gao, Xian Gao, Ting Li, Yuzhuo Fu,
• Abstract要約: textbfColumn-textbfPreserving textbfSingular textbfValue textbfDecomposition (CPSVD)を提案する。 CPSVDは、パラメータ行列をインテリジェントにセグメント化することで、SVDベースのLarge Language Models圧縮を洗練する。 最先端のSVDベースのLLM圧縮手法を一貫して上回り、ゼロショットタスクにおいて低いパープレキシティと高い精度を達成する。
• 参考スコア（独自算出の注目度）: 20.302975265084964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of Large Language Models (LLMs) faces a critical bottleneck in their immense size, necessitating efficient compression techniques. While Singular Value Decomposition (SVD) is a promising approach, existing SVD-based methods treat the entire parameter matrix uniformly, overlooking that SVD approximation errors vary significantly across different matrix parts, which often leads to suboptimal compression. To address this, we propose \textbf{C}olumn-\textbf{P}reserving \textbf{S}ingular \textbf{V}alue \textbf{D}ecomposition (CPSVD), a novel method that refines SVD-based LLM compression by intelligently segmenting the parameter matrix. Unlike traditional SVD, CPSVD identifies and directly preserves matrix columns with high decomposition errors, applying SVD only to columns with low decomposition errors, while precisely determining the optimal balance point between these two strategies to minimize error. Furthermore, leveraging the inherent heterogeneity in decomposition errors across different matrices within an LLM, CPSVD adaptively allocates non-uniform compression rates to modules within that layer, while adhering to a target layer-wise compression ratio, thereby further enhancing compression performance. Extensive experiments demonstrate that CPSVD consistently outperforms state-of-the-art SVD-based LLM compression methods, achieving lower perplexity and higher accuracy on zero-shot tasks.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進歩は、その巨大なサイズにおいて重大なボトルネックに直面し、効率的な圧縮技術を必要としている。 Singular Value Decomposition (SVD) は有望な手法であるが、既存のSVDベースの手法はパラメータ行列全体を均一に扱う。 そこで本研究では,パラメータ行列をインテリジェントにセグメント化することで,SVDに基づくLLM圧縮を洗練させる新しい手法である CPSVD (textbf{C}olumn-\textbf{P}reserving \textbf{S}ingular \textbf{V}alue \textbf{D}ecomposition) を提案する。 従来のSVDとは異なり、CPSVDは行列列を高い分解誤差で識別し、直接保存する。 さらに、LCM内の異なる行列間の分解誤差の固有の不均一性を利用して、CPSVDはその層内のモジュールに適応的に非一様圧縮率を割り当て、ターゲット層ワイド圧縮比に固執し、圧縮性能をさらに向上する。 拡張実験により、CPSVDは最先端のSVDベースのLLM圧縮法を一貫して上回り、ゼロショットタスクにおいてより低いパープレキシティと高い精度を達成することを示した。

関連論文リスト

• SAES-SVD: Self-Adaptive Suppression of Accumulated and Local Errors for SVD-based LLM Compression [27.258302662888166]
  SAES-SVDは、大規模言語モデルの低ランク圧縮フレームワークである。 層内再構成と層間誤差補償を共同で最適化する。 実験により,SAES-SVDは圧縮後の性能を常に改善することが示された。
  論文  参考訳（メタデータ） (2026-02-03T03:23:10Z)
• Concatenated Matrix SVD: Compression Bounds, Incremental Approximation, and Error-Constrained Clustering [0.0]
  予測された共同SVD圧縮誤差がユーザ指定しきい値以下である場合にのみ、行列をマージする3つのクラスタリングアルゴリズムを提案する。 アルゴリズムは、スピード、証明可能な精度、スケーラビリティのトレードオフにまたがっており、明示的なエラー制御を備えた圧縮対応クラスタリングを可能にしている。
  論文  参考訳（メタデータ） (2026-01-12T18:15:53Z)
• DipSVD: Dual-importance Protected SVD for Efficient LLM Compression [12.997409692786848]
  DipSVDは複数のベンチマークで既存のSVDベースの圧縮手法より優れている。 本稿では,SVDに基づく圧縮手法を強化するための二重レベル重要度保護機構を提案する。
  論文  参考訳（メタデータ） (2025-06-25T12:04:53Z)
• ResSVD: Residual Compensated SVD for Large Language Model Compression [12.539815070352116]
  大規模言語モデル(LLM)は、幅広い下流自然言語処理タスクにおいて印象的な機能を示している。 本稿では,ポストトレーニング後のSVDに基づくLLM圧縮手法であるResSVDを提案する。 トラニケート過程中に発生する残留行列を利用してトラニケート損失を低減する。
  論文  参考訳（メタデータ） (2025-05-26T15:14:54Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• Dobi-SVD: Differentiable SVD for LLM Compression and Some New Perspectives [59.46211685419206]
  SVDの最適利用は、単にアクティベーションを最適化距離として使うのではなく、停止するアクティベーションに関係していると論じる。 本稿では, SVD に基づく LLM 圧縮に対して, 新たな原理的アプローチを確立する Dobi-SVD を提案する。
  論文  参考訳（メタデータ） (2025-02-04T21:17:51Z)
• AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [75.1196637934987]
  Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:34:37Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ASVD: Activation-aware Singular Value Decomposition for Compressing Large Language Models [49.970828419830355]
  大規模言語モデル(LLM)のための新しい訓練後圧縮パラダイムを提案する。 我々は、アクティベーション対応特異値分解(ASVD)と呼ばれるトレーニング不要の手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T08:41:24Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。