論文の概要: Zero Sum SVD: Balancing Loss Sensitivity for Low Rank LLM Compression

• arxiv url: http://arxiv.org/abs/2602.02848v1
• Date: Mon, 02 Feb 2026 21:51:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.105658
• Title: Zero Sum SVD: Balancing Loss Sensitivity for Low Rank LLM Compression
• Title（参考訳）: ゼロサムSVD:低ランクLLM圧縮における損失感度のバランス
• Authors: Ali Abbasi, Chayne Thrash, Haoran Qin, Shansita Sharma, Sepehr Seifi, Soheil Kolouri,
• Abstract要約: 白色座標における特異成分選択を行うポストトレーニング法であるtextbfZero Sum SVD (textbfZS-SVD) を提案する。 textbfZS-SVDは、累積的な損失変化を0付近に保持する textbfzero sum ルールで、モデル全体のコンポーネントをプルーする。 実験では、様々なベンチマークと圧縮比で一貫した利得を示している。
• 参考スコア（独自算出の注目度）: 11.908793753919745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advances in large language models have driven strong performance across many tasks, but their memory and compute costs still hinder deployment. SVD-based compression reduces storage and can speed up inference via low-rank factors, yet performance depends on how rank is allocated under a global compression ratio. Prior methods often use homogeneous ranks for similarly sized matrices, despite large differences in loss sensitivity, or rely on expensive iterative pre-truncation optimization to determine per matrix ranks. We propose \textbf{Zero Sum SVD} (\textbf{ZS-SVD}), a post-training method that performs \emph{global} singular component selection using activation whitening and first-order calibration loss estimates in whitened coordinates. \textbf{ZS-SVD} prunes components across the whole model with a \textbf{zero sum} rule that keeps the cumulative predicted loss change near zero, automatically yielding heterogeneous ranks without solving a rank allocation optimization. Motivated by evidence that gradients near pretrained solutions exhibit low rank structure, we also introduce an optional lightweight correction that applies a \textbf{single} projected gradient update after truncation, followed by re-truncation. Extensive experiments across multiple LLM architectures show consistent gains across diverse benchmarks and compression ratios. Code is available at https://github.com/mint-vu/Zero-Sum-SVD
• Abstract（参考訳）: 大規模言語モデルの進歩は多くのタスクで強力なパフォーマンスを実現しているが、そのメモリと計算コストは依然としてデプロイメントを妨げている。 SVDベースの圧縮はストレージを削減し、低ランク要因による推論を高速化する。 従来の手法では、損失感度に大きな違いがあるにもかかわらず、同様の大きさの行列に対して均質なランクを用いる場合が多い。 そこで我々は,活性化白化と白化座標の1次キャリブレーション損失推定を用いて,単体成分選択を行うポストトレーニング法である \textbf{Zero Sum SVD} (\textbf{ZS-SVD}) を提案する。 \textbf{ZS-SVD} は、累積的な損失変化をゼロ付近に保ち、ランク割り当て最適化を解くことなく自動的に不均一なランクを得られるような、モデル全体のコンポーネントをPrunesする。 事前学習された解の近傍の勾配が低い階数構造を示すという証拠によって動機づけられた上で, トランケーション後の勾配更新と再トランケーション(re-truncation)の後に, \textbf{single} を投影した勾配更新を適用可能な軽量補正を導入する。 複数のLLMアーキテクチャにわたる大規模な実験は、様々なベンチマークと圧縮比で一貫した利得を示す。 コードはhttps://github.com/mint-vu/Zero-Sum-SVDで入手できる。

関連論文リスト

• Don't be so Stief! Learning KV Cache low-rank approximation over the Stiefel manifold [7.162701793686856]
  StiefAttentionは、出力再構成誤差を直接最小化し、インフォノーマルプロジェクションベースを学習するKV-cache圧縮手法である。 これは、C4の難易度が11.9ドル、0ショットMMLUの精度が5.4%でEigenAttentionを上回り、元のデコーダ層出力に対する相対誤差が低く、コサイン類似度も高い。
  論文  参考訳（メタデータ） (2026-01-29T13:19:24Z)
• Low-Rank Compression of Language Models via Differentiable Rank Selection [22.99526059495007]
  本研究では,勾配に基づく学習手法であるLearning to Low-Rank Compress (LLRC)を提案する。 提案手法は, 圧縮後微調整を必要とせず, 様々な圧縮速度で, 共通センス推論やオープンドメイン質問応答タスクにおいて, 競合するランク付け手法よりも優れる。
  論文  参考訳（メタデータ） (2025-12-14T07:20:57Z)
• ARA: Adaptive Rank Allocation for Efficient Large Language Model SVD Compression [23.58843227762227]
  大言語モデル(LLM)圧縮では、特異値分解(SVD)は広く研究され、採用されている低ランク分解技術である。 グローバル圧縮比制約の下では、異なる線形加群に対する適切なランクを決定することが重要な問題となる。 この問題に対処するための適応ランクアロケーション(ARA)手法を提案する。
  論文  参考訳（メタデータ） (2025-10-22T09:05:47Z)
• Logits Replay + MoClip: Stabilized, Low-Cost Post-Training with Minimal Forgetting [6.653834890554154]
  Logits Replay + MoClipは,ロジット空間の監視を圧縮し,更新レベルでの最適化を安定化するフレームワークである。 提案手法は,一般的なベンチマークでの忘れを軽減しつつ,コミュニケーション技術タスクのドメイン性能を向上する。
  論文  参考訳（メタデータ） (2025-10-10T08:55:32Z)
• PLUMAGE: Probabilistic Low rank Unbiased Min Variance Gradient Estimator for Efficient Large Model Training [21.695928776150808]
  アクセラレータのメモリとネットワークの制約は、大きな言語モデルをトレーニングする際の主要なボトルネックとして現れている。 PLUMAGE: Probabilistic Low rank Unbiased Minimum v Ariance Gradient Estorを提案する。 PLUMAGEは,モデル全体で平均33%,GLUEベンチマークで平均28%,GaloREと同様の計算量およびメモリフットプリントで平均33%の事前トレーニング評価損失に対して,フルランク最適化のギャップを縮めることを実証的に実証した。
  論文  参考訳（メタデータ） (2025-05-23T19:17:55Z)
• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [75.1196637934987]
  Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:34:37Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。