論文の概要: Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration

• arxiv url: http://arxiv.org/abs/2604.02659v1
• Date: Fri, 03 Apr 2026 02:47:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.289844
• Title: Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration
• Title（参考訳）: ランダム化部分空間反復による事前学習モデルの低ランク圧縮
• Authors: Farhad Pourkamali-Anaraki,
• Abstract要約: 特異値分解(SVD)に基づく低ランク分解は、モデル還元の原理的なアプローチを提供する。 ランダム化SVD (RSVD) のようなランダム化された代替手法は効率を向上するが、特異値スペクトルがゆっくりと崩壊すると近似品質が低下する。 より効果的な代替手段としてランダム化部分空間(RSI)を提案する。
• 参考スコア（独自算出の注目度）: 2.1016374925364616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The massive scale of pretrained models has made efficient compression essential for practical deployment. Low-rank decomposition based on the singular value decomposition (SVD) provides a principled approach for model reduction, but its exact computation is expensive for large weight matrices. Randomized alternatives such as randomized SVD (RSVD) improve efficiency, yet they can suffer from poor approximation quality when the singular value spectrum decays slowly, a regime commonly observed in modern pretrained models. In this work, we address this limitation from both theoretical and empirical perspectives. First, we establish a connection between low-rank approximation error and predictive performance by analyzing softmax perturbations, showing that deviations in class probabilities are controlled by the spectral error of the compressed weights. Second, we demonstrate that RSVD is inadequate, and we propose randomized subspace iteration (RSI) as a more effective alternative. By incorporating multiple power iterations, RSI improves spectral separation and provides a controllable mechanism for enhancing approximation quality. We evaluate our approach on both convolutional networks and transformer-based architectures. Our results show that RSI achieves near-optimal approximation quality while outperforming RSVD in predictive accuracy under aggressive compression, enabling efficient model compression.
• Abstract（参考訳）: 事前訓練されたモデルの大規模化により、実用的な展開に効率的な圧縮が不可欠になった。 特異値分解(SVD)に基づく低ランク分解は、モデル還元の原理的なアプローチを提供するが、その正確な計算は大きな重み行列に対して高価である。 ランダム化SVD (RSVD) のようなランダム化された代替手段は効率を向上するが、特異値スペクトルがゆっくりと減衰すると近似品質が低下する可能性がある。 本研究では,この限界を理論的・経験的両面から論じる。 まず,ソフトマックス摂動解析により,低ランク近似誤差と予測性能の関連性を確立し,圧縮重みのスペクトル誤差によってクラス確率の偏差が制御されることを示す。 第二に、RSVDが不十分であることを示し、より効果的な代替手段としてランダム化部分空間反復(RSI)を提案する。 複数のパワーイテレーションを組み込むことで、RSIはスペクトル分離を改善し、近似品質を向上させるための制御可能なメカニズムを提供する。 我々は、畳み込みネットワークとトランスフォーマーベースのアーキテクチャの両方に対するアプローチを評価した。 以上の結果から,RSI は積極的圧縮条件下での予測精度で RSVD を上回り,近似精度を向上し,モデル圧縮の効率化を実現している。

関連論文リスト

• Compressed BC-LISTA via Low-Rank Convolutional Decomposition [47.15001096567547]
  圧縮前方・後方演算子を用いたマルチチャネルイメージングのためのスパース信号回復法(SSR)について検討した。 本稿では,低ランク畳み込みネットワーク(CNN)分解に基づくCBC(Compressed Block-Convolutional)測定モデルを提案する。
  論文  参考訳（メタデータ） (2026-01-30T16:33:51Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• Low-Rank Matrix Approximation for Neural Network Compression [0.0]
  本稿では,重み行列の圧縮に最適なランクを近似する適応型特異値分解法を提案する。 ARSVDは、その特異値のエントロピー分布を通じて、層ごとのランクの適応的な選択を使用する。 提案手法は, 効率よく, 層圧縮が可能であり, 空間, 時間的複雑さを低減して性能を向上する。
  論文  参考訳（メタデータ） (2025-04-25T06:04:01Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
  本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。 これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。 本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Federated Random Reshuffling with Compression and Variance Reduction [0.0]
  ランダムリシャッフル(RR)は、経験的リスク最小化を通じて教師付き機械学習モデルをトレーニングするための非常に一般的な方法である。 組み込みであり、しばしば標準の機械学習ソフトウェアでデフォルトとして設定される。 我々はFedRRをさらに改善するための3つの新しいアルゴリズムを紹介した。1つはシャッフルによる分散を、もう1つは圧縮による分散をモデル化する。
  論文  参考訳（メタデータ） (2022-05-08T16:46:11Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。