論文の概要: LACE-SVD: Loss-Aware SVD with Cumulative Error Correction for LLM Compression

• arxiv url: http://arxiv.org/abs/2607.03057v1
• Date: Fri, 03 Jul 2026 07:46:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.508833
• Title: LACE-SVD: Loss-Aware SVD with Cumulative Error Correction for LLM Compression
• Title（参考訳）: LACE-SVD:LLM圧縮のための累積誤差補正による損失認識SVD
• Abstract要約: LLM圧縮に累積誤差補正を施したLos-Aware SVDフレームワークであるLACE-SVDを提案する。 LACE-SVDはまず、候補層ワイド圧縮比によって誘導されるキャリブレーション負-log-like-hood増加を推定する。 その後、圧縮されたモデルをクローズドフォームのローカル更新で洗練し、残ストリーム出力モジュールに対する伝搬認識補正を導入する。
• 参考スコア（独自算出の注目度）: 4.953709812007795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth in the parameter scale of large language models (LLMs) has created a strong demand for efficient compression techniques. As a hardware-agnostic and highly compatible approach, low-rank compression has been widely adopted to reduce both memory footprint and computational cost. However, existing SVD-based methods are still largely driven by local reconstruction objectives, overlooking two critical limitations: rank budgets are often allocated without explicitly considering layer-wise loss sensitivity, and local approximation errors can propagate and accumulate through the residual stream, leading to amplified global deviations from the original model. To address these issues, we propose LACE-SVD, a Loss-Aware SVD framework with Cumulative Error correction for LLM compression. LACE-SVD first estimates the calibration negative-log-likelihood increase induced by candidate layer-wise compression ratios and solves a budget-constrained allocation problem to assign rank budgets. It then refines the compressed model with closed-form local updates and introduces a propagation-aware correction for residual-stream output modules, reducing layer-output discrepancy as a proxy for cumulative error propagation. Experimental results demonstrate that at a high compression ratio (0.6), the WikiText-2 PPL of our method on LLaMA-7B (32.57) is significantly better than that of Dobi-SVD (46.18).
• Abstract（参考訳）: 大規模言語モデル(LLM)のパラメータスケールの急速な成長は、効率的な圧縮技術に対する強い需要を生み出している。 ハードウェアに依存しない高互換性のアプローチとして、メモリフットプリントと計算コストの両方を削減するために低ランク圧縮が広く採用されている。 しかし、既存のSVDベースの手法は、いまだに局所的な再構築の目的によって推進されているため、2つの重要な制限を見越して、階層的な損失感度を考慮せずにランク予算を割り当てることがしばしばであり、局所近似誤差は残留ストリームを通じて伝播し蓄積し、元のモデルからのグローバルな偏差が増幅される。 これらの問題に対処するために,LLM圧縮に累積誤差補正を加えたLos-Aware SVDフレームワークであるLACE-SVDを提案する。 LACE-SVDはまず、候補層ワイド圧縮比によって引き起こされるキャリブレーションの負-log-likelyhood増加を推定し、予算制約の割り当て問題を解き、ランクの予算を割り当てる。 次に、圧縮されたモデルをクローズドフォームのローカル更新で洗練し、残差ストリーム出力モジュールに対する伝搬認識補正を導入し、累積誤差伝搬のプロキシとして層出力差を低減させる。 その結果, LLaMA-7B (32.57) 上のWikiText-2 PPLはドビ-SVD (46.18) よりも有意に優れていた。

関連論文リスト

• IO-SVD: Input-Output Whitened SVD for Adaptive-Rank LLM Compression [21.844141881475533]
  SVDベースのポストトレーニング圧縮は、ハードウェアに依存しない方法でモデルサイズを削減し、推論効率を向上させる。 既存の方法は、入力のみのホワイトニング空間、均質なランクアロケーション、損失に依存しないアロケーションなどに依存することが多い。 モデル重みに対するKL対応両面白化空間を形成する後学習圧縮手法である入出力白化SVD(IO-SVD)を提案する。
  論文  参考訳（メタデータ） (2026-05-15T05:19:10Z)
• AA-SVD : Anchored and Adaptive SVD for Large Language Model Compression [19.41870881350408]
  本稿では,大規模な言語モデルを再学習せずに圧縮するための高速な低ランク分解に基づくフレームワークを提案する。 ブロックレベルの出力歪みを最小限に抑え、各トランスブロックをエンドツーエンドに洗練する。 提案手法は圧縮比で既存のSVDベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-02T14:55:49Z)
• SAES-SVD: Self-Adaptive Suppression of Accumulated and Local Errors for SVD-based LLM Compression [27.258302662888166]
  SAES-SVDは、大規模言語モデルの低ランク圧縮フレームワークである。 層内再構成と層間誤差補償を共同で最適化する。 実験により,SAES-SVDは圧縮後の性能を常に改善することが示された。
  論文  参考訳（メタデータ） (2026-02-03T03:23:10Z)
• CPSVD: Enhancing Large Language Model Compression via Column-Preserving Singular Value Decomposition [20.302975265084964]
  textbfColumn-textbfPreserving textbfSingular textbfValue textbfDecomposition (CPSVD)を提案する。 CPSVDは、パラメータ行列をインテリジェントにセグメント化することで、SVDベースのLarge Language Models圧縮を洗練する。 最先端のSVDベースのLLM圧縮手法を一貫して上回り、ゼロショットタスクにおいて低いパープレキシティと高い精度を達成する。
  論文  参考訳（メタデータ） (2025-10-22T09:02:37Z)
• CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compression [0.0]
  大規模言語モデル(LLM)は、その膨大なサイズと計算要求のために、重大なデプロイメント上の課題を提示する。 本稿では,2成分圧縮手法である補正適応低ランク分解(CALR)を導入する。 CALR はパラメータ数を 26.93% から 51.77% に削減でき、元のモデルの性能の59.45% から 90.42% に維持できることを示した。
  論文  参考訳（メタデータ） (2025-08-21T13:16:02Z)
• QuantVSR: Low-Bit Post-Training Quantization for Real-World Video Super-Resolution [53.13952833016505]
  実世界のビデオ超解像(VSR)のための低ビット量子化モデルを提案する。 キャリブレーションデータセットを用いて各レイヤの空間的および時間的複雑さを計測する。 我々はFPおよび低ビット分岐を改良し、同時最適化を実現する。
  論文  参考訳（メタデータ） (2025-08-06T14:35:59Z)
• AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [75.1196637934987]
  Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:34:37Z)
• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。