論文の概要: Mind the Approximation: Fisher-Weighted SVD Compression for ViTs

• arxiv url: http://arxiv.org/abs/2609.07155v1
• Date: Mon, 07 Sep 2026 07:50:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.382205
• Title: Mind the Approximation: Fisher-Weighted SVD Compression for ViTs
• Title（参考訳）: マインド・ザ・近似:ViTに対する釣り重量SVD圧縮
• Authors: Moritz Thoma, Maximilian Groezinger, Maximilian Forstenhäusler, Emad Aghajanzadeh, Ryan Pegoud, Manoj Rohit Vemparala, Pierpaolo Mori, Alexander Frickenstein, Daniel Mueller-Gritschneder, Ulf Schlichtmann,
• Abstract要約: FACTSはヴィジュアルトランスフォーマー(ViT)に適した構造を持つフィッシャー近似である トークン-局所的なアグリゲーションを強制すると同時に、アクティベーション-段階的な依存を保っている。 微調整を必要とせず、精度と効率のトレードオフを継続的に改善する。
• 参考スコア（独自算出の注目度）: 37.05832234320274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model compression is key to mitigate deployment challenges of ever growing machine learning models. In this area of research, singular value decomposition (SVD)-based compression offers a compelling trade-off between computational efficiency and model accuracy. Fisher-weighted SVD in particular provides principled, loss-aware compression. However, we find that improving the fidelity of Fisher approximation used in the compression is poorly predictive of post-compression accuracy for Vision Transformers (ViTs). Motivated by this observation, we propose FACTS, a structured Fisher Approximation tailored to Compressing ViTs with Fisher-weighted SVD, which enforces token-local aggregation while preserving within-token activation-gradient dependence. Additionally, we introduce a fast Constrained Rank Search (CoRS), that optimizes layer-wise rank allocation while adhering to a fixed floating point operation (FLOP) constraint. Extensive experiments across ViTs and hybrid architectures demonstrate that FACTS consistently improves accuracy-efficiency trade-offs without requiring finetuning. Notably, it outperforms the strongest SVD baseline by up to +5.8 percentage points (p.p.) Top-1 on Swin-B, with further gains driven by our search method. Code is available at https://github.com/MoritzTho/FACTS.
• Abstract（参考訳）: モデル圧縮は、成長を続ける機械学習モデルのデプロイメント課題を軽減するための鍵である。 この研究領域において、特異値分解(SVD)に基づく圧縮は、計算効率とモデルの精度の間に魅力的なトレードオフをもたらす。 特にサーフ重み付きSVDは、原則付きロス対応圧縮を提供する。 しかし, 圧縮におけるフィッシャー近似の忠実度の向上は, 視覚変換器(ViT)の圧縮後精度の低下を予測できないことがわかった。 そこで本研究では,本研究で提案するFACTSを提案する。このFACTSは,魚介類によるVTの圧縮に特化し,トークン局所的な凝集を行ないながら,活性化段階の依存を保ちながら,トークン局所的な凝集を強制する。 さらに,固定浮動小数点演算(FLOP)制約に固執しながら,階層的なランク割り当てを最適化する高速な制約付きランク探索(CoRS)を導入する。 ViTとハイブリッドアーキテクチャにわたる大規模な実験により、FACTSは微調整を必要とせず、精度と効率のトレードオフを一貫して改善することを示した。 特に、Swin-B上では最大5.8ポイント(p.p.)のTop-1で最強のSVDベースラインを上回り、検索手法によってさらに向上する。 コードはhttps://github.com/MoritzTho/FACTS.comで入手できる。

関連論文リスト

• Predicting LLM Compression Degradation from Spectral Statistics [2.76240219662896]
  マトリックスレベルの低ランク圧縮は、大きな言語モデルのコストを削減するための有望な方法である。 この計算にコミットする前に圧縮誘起劣化を予測することができるか? 安定なランクと情報密度は,パラメータごとのビット数で測定され,性能劣化が支配的であることがわかった。
  論文  参考訳（メタデータ） (2026-04-20T11:01:19Z)
• Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration [2.1016374925364616]
  特異値分解(SVD)に基づく低ランク分解は、モデル還元の原理的なアプローチを提供する。 ランダム化SVD (RSVD) のようなランダム化された代替手法は効率を向上するが、特異値スペクトルがゆっくりと崩壊すると近似品質が低下する。 より効果的な代替手段としてランダム化部分空間(RSI)を提案する。
  論文  参考訳（メタデータ） (2026-04-03T02:47:03Z)
• Low-Rank Prehab: Preparing Neural Networks for SVD Compression [12.618746274492421]
  プレハビテーションを契機に,プレ圧縮微調整ステージであるLow-Rank Prehabを導入する。 圧縮後,Prehabは即時精度低下を著しく低減し,ファインタニング後の性能を継続的に改善することを示す。 本手法は,SVD-LLMのような最先端のSVD技術より優れている。
  論文  参考訳（メタデータ） (2025-12-01T18:37:53Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models [6.57101653042078]
  Generalized Fisher-Weighted SVD (GFWSVD) は、フィッシャー情報行列の対角要素と対角要素の両方を考慮に入れた後処理圧縮技術である。 提案手法がLLM圧縮に与える影響を実証し,既存の圧縮ベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2025-05-23T14:41:52Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• Language model compression with weighted low-rank factorization [73.61874728240568]
  本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。 結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。 提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-06-30T21:57:07Z)
• Optimal Rate Adaption in Federated Learning with Compressed Communications [28.16239232265479]
  フェデレートラーニングは高い通信オーバーヘッドを引き起こし、モデル更新の圧縮によって大幅に軽減される。 ネットワーク環境における 圧縮とモデルの精度のトレードオフは 未だ不明です 各繰り返しの圧縮を戦略的に調整することで最終モデルの精度を最大化する枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-13T14:26:15Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。