論文の概要: SAES-SVD: Self-Adaptive Suppression of Accumulated and Local Errors for SVD-based LLM Compression

• arxiv url: http://arxiv.org/abs/2602.03051v1
• Date: Tue, 03 Feb 2026 03:23:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.219158
• Title: SAES-SVD: Self-Adaptive Suppression of Accumulated and Local Errors for SVD-based LLM Compression
• Title（参考訳）: SAES-SVD: SVDを用いたLLM圧縮のための累積誤差と局所誤差の自己適応抑制
• Authors: Xing Hu, Dawei Yang, Yuan Cheng, Zhixuan Chen, Zukang Xu,
• Abstract要約: SAES-SVDは、大規模言語モデルの低ランク圧縮フレームワークである。 層内再構成と層間誤差補償を共同で最適化する。 実験により,SAES-SVDは圧縮後の性能を常に改善することが示された。
• 参考スコア（独自算出の注目度）: 27.258302662888166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth in the parameter scale of large language models (LLMs) has created a high demand for efficient compression techniques. As a hardware-agnostic and highly compatible technique, low-rank compression has been widely adopted. However, existing methods typically compress each layer independently by minimizing per-layer reconstruction error, overlooking a critical limitation: the reconstruction error propagates and accumulates through the network, which leads to amplified global deviations from the full-precision baseline. To address this, we propose Self-Adaptive Error Suppression SVD (SAES-SVD), a LLMs compression framework that jointly optimizes intra-layer reconstruction and inter-layer error compensation. SAES-SVD is composed of two novel components: (1) Cumulative Error-Aware Layer Compression (CEALC), which formulates the compression objective as a combination of local reconstruction and weighted cumulative error compensation. Based on it, we derive a closed-form low-rank solution relied on second-order activation statistics, which explicitly aligns each layer's output with its full-precision counterpart to compensate for accumulated errors. (2) Adaptive Collaborative Error Suppression (ACES), which automatically adjusts the weighting coefficient to enhance the low-rank structure of the compression objective in CEALC. Specifically, the coefficient is optimized to maximize the ratio between the Frobenius norm of the compressed layer's output and that of the compression objective under a fixed rank, thus ensuring that the rank budget is utilized effectively. Extensive experiments across multiple LLM architectures and tasks show that, without fine-tuning or mixed-rank strategies, SAES-SVD consistently improves post-compression performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)のパラメータスケールの急速な成長は、効率的な圧縮技術に対する高い需要を生み出している。 ハードウェアに依存しない高互換性技術として、低ランク圧縮が広く採用されている。 しかし, 従来の手法では, 層間再構成誤差を最小化して各層を独立に圧縮する手法が一般的であり, 再構成誤差はネットワークを介して伝播・蓄積するので, 全精度ベースラインからのグローバルな偏差が増幅される。 そこで本研究では,層内再構成と層間誤り補償を協調的に最適化するLLM圧縮フレームワークである自己適応誤差抑圧SVD(SAES-SVD)を提案する。 SAES-SVDは,(1)累積誤差認識層圧縮(CEALC)という,局所的再構成と重み付き累積誤差補償を組み合わせた圧縮目標を定式化した2つの新しいコンポーネントから構成される。 これに基づいて、2階アクティベーション統計に依存する閉形式低ランク解を導出し、各層の出力を、蓄積したエラーを補償する完全精度のものと明確に整合する。 2) CEALCにおける圧縮対象の低ランク構造を強化するために重み付け係数を自動的に調整する適応的協調誤差抑制(ACES)について検討した。 具体的には、圧縮層の出力のフロベニウスノルムと一定ランクの圧縮目標との比を最大化するために係数を最適化し、ランク予算を効果的に活用する。 複数のLLMアーキテクチャやタスクにわたる大規模な実験は、微調整や混合ランクの戦略がなければ、SAES-SVDは圧縮後の性能を一貫して改善することを示している。

関連論文リスト

• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compression [0.0]
  大規模言語モデル(LLM)は、その膨大なサイズと計算要求のために、重大なデプロイメント上の課題を提示する。 本稿では,2成分圧縮手法である補正適応低ランク分解(CALR)を導入する。 CALR はパラメータ数を 26.93% から 51.77% に削減でき、元のモデルの性能の59.45% から 90.42% に維持できることを示した。
  論文  参考訳（メタデータ） (2025-08-21T13:16:02Z)
• AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [75.1196637934987]
  Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:34:37Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。