論文の概要: Low-Rank Prehab: Preparing Neural Networks for SVD Compression

• arxiv url: http://arxiv.org/abs/2512.01980v1
• Date: Mon, 01 Dec 2025 18:37:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:35.021116
• Title: Low-Rank Prehab: Preparing Neural Networks for SVD Compression
• Title（参考訳）: 低ランクプレハブ:SVD圧縮のためのニューラルネットワークの準備
• Authors: Haoran Qin, Shansita Sharma, Ali Abbasi, Chayne Thrash, Soheil Kolouri,
• Abstract要約: プレハビテーションを契機に,プレ圧縮微調整ステージであるLow-Rank Prehabを導入する。 圧縮後,Prehabは即時精度低下を著しく低減し,ファインタニング後の性能を継続的に改善することを示す。 本手法は,SVD-LLMのような最先端のSVD技術より優れている。
• 参考スコア（独自算出の注目度）: 12.618746274492421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank approximation methods such as singular value decomposition (SVD) and its variants (e.g., Fisher-weighted SVD, Activation SVD) have recently emerged as effective tools for neural network compression. In this setting, decomposition acts as a "surgical" intervention, followed by fine-tuning that serves as "rehab" to recover accuracy. Inspired by prehabilitation in surgery, we introduce a pre-compression fine-tuning stage, Low-Rank Prehab, that explicitly encourages low-rank structure in weight matrices while preserving task performance. By conditioning the model before SVD, Prehab steers weights toward spectrally compact regions of the parameter space, enabling smoother low-rank approximation and improved recovery. Experiments on large language models (LLMs) and other Transformer-based architectures, including Vision Transformers (ViTs), show that Prehab substantially reduces the immediate accuracy drop after compression and consistently improves post-finetuning performance. Across a wide range of compression ratios, our method outperforms state-of-the-art SVD-based techniques such as SVD-LLM, highlighting the importance of preparing models for compression rather than only improving the compression and recovery stages. Source code is available at https://github.com/niqretnuh/PREHAB-SVD
• Abstract（参考訳）: 特異値分解(SVD)やその変種(例えば、フィッシャー重み付きSVD、アクティベーションSVD)のような低ランク近似法が、ニューラルネットワーク圧縮の有効なツールとして最近登場した。 この環境では、分解は「外科的」介入として働き、続いて「リハビリ」として機能する微調整によって精度を回復する。 作業性能を保ちながら重量行列の低ランク構造を明示的に促進するプレ圧縮微調整ステージであるLow-Rank Prehabを導入する。 SVDの前にモデルを条件付けすることで、Prehabはパラメータ空間のスペクトル的にコンパクトな領域に向けて重み付けを行い、よりスムーズな低ランク近似を可能にし、回復を改善した。 大型言語モデル(LLM)および視覚変換器(ViT)を含むトランスフォーマーベースのアーキテクチャの実験により、Prehabは圧縮後の即時精度低下を著しく低減し、ファインタニング後のパフォーマンスを継続的に改善することを示した。 圧縮率の幅は広く,SVD-LLMのような最先端のSVDベースの技術よりも優れており,圧縮および回復段階の改善に留まらず,圧縮のためのモデルを作成することの重要性を強調している。 ソースコードはhttps://github.com/niqretnuh/PREHAB-SVDで入手できる。

関連論文リスト

• Vanishing Contributions: A Unified Approach to Smoothly Transition Neural Models into Compressed Form [2.6986106861637165]
  Vanishing Contributions (VCON) は、ニューラルネットワークを圧縮形式にスムーズに移行するための一般的なアプローチである。 コンピュータビジョンおよび自然言語処理ベンチマークにおけるVCONの評価を,複数の圧縮戦略と組み合わせて行う。
  論文  参考訳（メタデータ） (2025-10-09T15:17:13Z)
• ResSVD: Residual Compensated SVD for Large Language Model Compression [12.539815070352116]
  大規模言語モデル(LLM)は、幅広い下流自然言語処理タスクにおいて印象的な機能を示している。 本稿では,ポストトレーニング後のSVDに基づくLLM圧縮手法であるResSVDを提案する。 トラニケート過程中に発生する残留行列を利用してトラニケート損失を低減する。
  論文  参考訳（メタデータ） (2025-05-26T15:14:54Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [75.1196637934987]
  Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:34:37Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Language model compression with weighted low-rank factorization [73.61874728240568]
  本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。 結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。 提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-06-30T21:57:07Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。