論文の概要: SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices

• arxiv url: http://arxiv.org/abs/2606.07098v1
• Date: Fri, 05 Jun 2026 09:48:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.67639
• Title: SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices
• Title（参考訳）: SigmaScale:SVDに基づく低ランク分解とスケーリング行列の学習によるLLM圧縮
• Authors: Ernests Lavrinovics, Marco Letizia, Roy Janco, Shai Segal, Johannes Bjerva, Maurizio Pierini,
• Abstract要約: 本稿では,SigmaScaleを提案する。 SigmaScaleは, Singular Value Decomposition(SVD)に基づくLarge Language Model(LLM)圧縮を支援するために,S$の補助スケーリング行列を学習する手法である。 実効ランクのエントロピーの減少により, 学習した尺度は, 重み行列の有効内在ランクを下げることを示した。 Llama 3.1 8B InstructとQwen3-8Bの実験では、SigmaScaleは最先端のSVDベースの圧縮手法と密接に競合している。
• 参考スコア（独自算出の注目度）: 6.482556299028435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present SigmaScale, a method for learning auxiliary scaling matrices $S$ to aid truncated Singular Value Decomposition (SVD) based Large Language Model (LLM) compression. Instead of deriving scaling matrices analytically, SigmaScale optimizes two sets of vectors that define diagonal row and column scaling transformations under an activation-aware compression loss. We show that learned scaling lowers the effective intrinsic rank of weight matrices, as reflected by reductions in effective-rank entropy, and that this reduction is strongly correlated with compression loss. Experiments on Llama 3.1 8B Instruct and Qwen3-8B show that SigmaScale is competitive with closely related state-of-the-art SVD-based compression methods across perplexity and zero-shot benchmarks. By using learned activation-aware transformations, SigmaScale explores a more flexible route to low-rank LLM compression by adapting to the structure of individual model weights. The advantage observed in specific tasks makes our approach a valid option for applications requiring a reduced LLM-inference computing cost.
• Abstract（参考訳）: 本稿では,SigmaScaleを提案する。 SigmaScaleは, Singular Value Decomposition(SVD)に基づくLarge Language Model(LLM)圧縮を支援するために,S$の補助スケーリング行列を学習する手法である。 スケール行列を解析的に導出する代わりに、SigmaScaleは、アクティベーション対応圧縮損失の下で対角線列と列のスケーリング変換を定義するベクトルの2つのセットを最適化する。 本研究は, 有効エントロピーの低減により, 実効量行列の有効内在ランクが低下し, 圧縮損失と強く相関していることを示す。 Llama 3.1 8B インストラクションと Qwen3-8B の実験では、SigmaScale はパープレキシティとゼロショットのベンチマークにまたがって、最先端のSVDベースの圧縮手法と密接に競合している。 学習したアクティベーション対応変換を用いて、SigmaScaleは個々のモデル重みの構造に適応することにより、低ランクLLM圧縮へのより柔軟な経路を探索する。 特定のタスクで観測される利点は、LLM推論計算コストの削減を必要とするアプリケーションに対して有効な選択肢となる。

関連論文リスト

• COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning [5.595343998068235]
  CoSpaDiは、低ランクの分解をより柔軟な構造化されたスパース分解に置き換える、トレーニング不要の圧縮フレームワークである。 複数のLlamaモデルとQwenモデルにまたがるCoSpaDiを,20～50%の圧縮比で層間および群間設定で評価した。
  論文  参考訳（メタデータ） (2025-09-26T08:55:09Z)
• MGAA: Multi-Granular Adaptive Allocation fof Low-Rank Compression of LLMs [9.244526043014098]
  MGAA (Multi-Granular Adaptive Allocation) 法は, 圧縮過程においてタスク固有の評価を伴わずに, サブレイヤ内およびサブレイヤ間のパラメータを適応的に割り当てることができる。 複数のLLMのバックボーンモデルとベンチマークデータセットによるMGAAの総合評価は、その優れた性能を示している。
  論文  参考訳（メタデータ） (2025-07-04T04:54:01Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• From Low Rank Gradient Subspace Stabilization to Low-Rank Weights: Observations, Theories, and Applications [85.17672240603011]
  大規模言語モデルにおける重み行列の非一様低ランク特性について検討する。 WeLore(Weight Low-Rank Projection)は、重み圧縮とメモリ効率の微調整を一体化したものである。
  論文  参考訳（メタデータ） (2024-07-15T21:05:20Z)
• Adaptive Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization [42.53133823994923]
  低ランク圧縮は、大規模言語モデルにおける非必須パラメータを減らすための有望な手法である。 大型モデルの低ランク特性に関する実証的研究を行う。 大規模言語モデルに適した低ランク圧縮手法を提案する。
  論文  参考訳（メタデータ） (2024-05-17T08:27:12Z)
• ASVD: Activation-aware Singular Value Decomposition for Compressing Large Language Models [49.970828419830355]
  大規模言語モデル(LLM)のための新しい訓練後圧縮パラダイムを提案する。 我々は、アクティベーション対応特異値分解(ASVD)と呼ばれるトレーニング不要の手法を提案する。
  論文  参考訳（メタデータ） (2023-12-10T08:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。