論文の概要: SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression
- arxiv url: http://arxiv.org/abs/2606.23568v1
- Date: Mon, 22 Jun 2026 16:33:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 18:11:35.810946
- Title: SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression
- Title（参考訳）: SVD-Surgeon:大言語モデル圧縮のための最適な特異値手術
- Authors: Mahmoud Safari, Frank Hutter,
- Abstract要約: SVD-Surgeon は OBS (Optimal Brain Surgeon) フレームワークを特異値ベースで導入する訓練不要な手法である。
特異値分解を直接操作するので、SVD-Surgeonは既存のSVD圧縮機の上に重ねることができる。
- 参考スコア（独自算出の注目度）: 47.182582580115195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) achieve remarkable performance across a wide range of tasks, but their deployment is constrained by substantial memory and compute requirements. Low-rank compression via singular value decomposition (SVD) is an effective remedy, but existing methods focus on how to factorize and which components to keep. We introduce SVD-Surgeon, a training-free method that brings the Optimal Brain Surgeon (OBS) framework to the singular-value basis. Treating each singular value as a parameter, it computes a closed-form update of the retained singular values that compensates, to second order in the model loss, for those removed by truncation. The same analysis yields a saliency for choosing which values to prune. As it operates directly on the singular-value factorization, SVD-Surgeon can be layered on top of existing SVD compressors. Applied to SVD-LLM, a leading SVD-based method, it improves the perplexity-compression trade-off on the OPT family and LLaMA 2-7B without any retraining.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクにわたって顕著なパフォーマンスを達成するが、そのデプロイメントは、かなりのメモリと計算要求によって制約される。
特異値分解(SVD)による低ランク圧縮は有効な治療法であるが、既存の手法では分解方法とどのコンポーネントを保持すべきかに重点を置いている。
SVD-Surgeon は OBS (Optimal Brain Surgeon) フレームワークを特異値ベースで導入する訓練不要な手法である。
パラメータとして各特異値を扱うと、トランケーションによって取り除かれた値に対して、モデル損失の2階に補正する保持された特異値のクローズドフォーム更新を計算する。
同じ分析によって、どの値がプルーになるかを選択するためのサリエンシが得られます。
特異値分解を直接操作するので、SVD-Surgeonは既存のSVD圧縮機の上に重ねることができる。
SVDベースの手法であるSVD-LLMの適用により、OPTファミリーとLLaMA 2-7Bのパープレキシティ圧縮トレードオフを改善することができる。
関連論文リスト
- Low-Rank Prehab: Preparing Neural Networks for SVD Compression [12.618746274492421]
プレハビテーションを契機に,プレ圧縮微調整ステージであるLow-Rank Prehabを導入する。
圧縮後,Prehabは即時精度低下を著しく低減し,ファインタニング後の性能を継続的に改善することを示す。
本手法は,SVD-LLMのような最先端のSVD技術より優れている。
論文 参考訳（メタデータ） (2025-12-01T18:37:53Z) - SVD-LLM V2: Optimizing Singular Value Truncation for Large Language Model Compression [10.991519727445231]
Singular Value Decomposition (SVD) はLarge Language Models (LLM) のための有望な圧縮手法である
既存のSVDベースの圧縮手法は、トラクション損失の低減に不足しており、圧縮されたモデルでは競争性能が低下する。
SVD圧縮における特異値切り込みを2つの手法で最適化するSVD-LLM V2を提案する。
論文 参考訳（メタデータ） (2025-03-16T03:27:12Z) - Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。
学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。
複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
論文 参考訳（メタデータ） (2025-02-20T23:18:39Z) - AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [75.1196637934987]
Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。
既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。
適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
論文 参考訳（メタデータ） (2025-02-03T14:34:37Z) - SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression [14.818355326032538]
Singular Value Decomposition (SVD)は、LLM(Large Language Models)圧縮のための有望なソリューションを提供する。
しかし、より小さな特異値の切り抜きは、圧縮損失が増加し、SVD切り込み後の圧縮重量の更新が欠如する可能性がある。
本稿では,既存の手法の限界に対処するSVD-LLM法を提案する。
論文 参考訳（メタデータ） (2024-03-12T07:31:18Z) - Numerical Optimizations for Weighted Low-rank Estimation on Language
Model [73.12941276331316]
Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。
標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。
本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-02T00:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。