論文の概要: Advancing SVD-based LLM Compression via Layer-Wise Error Model Search

• arxiv url: http://arxiv.org/abs/2610.32878v2
• Date: Mon, 26 Oct 2026 12:00:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.222111
• Title: Advancing SVD-based LLM Compression via Layer-Wise Error Model Search
• Title（参考訳）: 層幅誤差モデル探索によるSVDに基づくLLM圧縮の高速化
• Abstract要約: 本稿では,レイヤワイド・エラー・モデリング・サーチ(LEMS)とKFAC-SVDを紹介する。 LEMSは階層的なエラーサロゲートを導入してランク割り当てを進める。 KFAC-SVDはトークンワイド統計を利用して分解品質を向上させる。
• 参考スコア（独自算出の注目度）: 38.55635150892678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank SVD-based compression offers a powerful strategy to reduce the computational costs of LLMs. However, existing methods face two key limitations: (i) global rank allocation, where uncalibrated error proxies fail to capture complex error propagation, and (ii) decomposition quality, where Fisher-based estimators suffer from severe rank collapse. In this work, we address these limitations by introducing Layer-wise Error Modeling Search (LEMS) and KFAC-SVD. LEMS advances rank allocation by introducing a layer-wise error surrogate that integrates local and global layer importance alongside a propagation bias, enabling effective global rank allocation via an ILP formulation. KFAC-SVD improves decomposition quality by utilizing token-wise statistics, mitigating the rank deficiency observed in prior Fisher-based SVD approaches. Across Mistral, Qwen3, and Llama 3 model families, we show that LEMS consistently outperforms existing search strategies, delivering significant zero-shot accuracy gains of up to 4.7 p.p. that generalize to model sizes of 70B parameters, while KFAC-SVD achieves an average perplexity improvement of 19%. Project page and code: https://lems-svd.github.io
• Abstract（参考訳）: 低ランクSVD圧縮は、LLMの計算コストを削減するための強力な戦略を提供する。 しかし、既存のメソッドには2つの重要な制限がある。 (i)大域的ランクアロケーション、未校正エラープロキシが複雑なエラーの伝搬を捉えず、 (II)分解品質は、フィッシャーに基づく推定器が厳格なランク崩壊に苦しむ。 本研究では,レイヤワイド・エラー・モデリング・サーチ(LEMS)とKFAC-SVDを導入することで,これらの制約に対処する。 LEMSは、ローカル層とグローバル層の重要度を伝搬バイアスと統合し、ILPの定式化による効果的なグローバルなランク割り当てを可能にするレイヤワイドエラーサロゲートを導入することにより、ランク割り当てを推し進める。 KFAC-SVDは、トークンワイズ統計を利用して分解品質を改善し、以前のフィッシャーベースのSVDアプローチで観測されたランク不足を緩和する。 Mistral, Qwen3, Llama 3 モデルファミリー全体では、LEMS は既存の検索戦略を一貫して上回り、70B パラメータのモデルサイズに一般化した最大4.7 p.p のゼロショット精度向上を実現し、KFAC-SVD は19%のパープレキシティ改善を実現している。 プロジェクトページとコード:https://lems-svd.github.io

関連論文リスト

• GA-SVD: Generation-aware Singular Value Decomposition for LLM Compression [62.522809701584215]
  大規模言語モデル(LLM)は、幅広い推論および生成タスクにまたがる強力な一般化を示す。 1ショットの低ランク圧縮は、モデルサイズと推論コストを効果的に削減するため、有望なソリューションである。 LLMの世代別低ランク圧縮フレームワークであるGA-SVDを提案する。
  論文  参考訳（メタデータ） (2026-10-11T06:53:27Z)
• LACE-SVD: Loss-Aware SVD with Cumulative Error Correction for LLM Compression [4.953709812007795]
  LLM圧縮に累積誤差補正を施したLos-Aware SVDフレームワークであるLACE-SVDを提案する。 LACE-SVDはまず、候補層ワイド圧縮比によって誘導されるキャリブレーション負-log-like-hood増加を推定する。 その後、圧縮されたモデルをクローズドフォームのローカル更新で洗練し、残ストリーム出力モジュールに対する伝搬認識補正を導入する。
  論文  参考訳（メタデータ） (2026-07-03T07:46:13Z)
• LASER: Loss-Aware Singular-value Decomposition and Rank Allocation for Efficient Low-Precision Vision-Language Models [12.483003654711203]
  視覚言語モデル(VLM)は、強力なマルチモーダル推論機能を提供するが、その計算コストと高いパラメータ数によって、リソース制約のあるデバイスへの展開が困難になる。 提案するtextitER(textbfLoss-textbfLASAware textbfSingular-value dtextbfEcomposition and textbfRank allocation)は,低精度なVLM推論のための低ランク圧縮フレームワークである。
  論文  参考訳（メタデータ） (2026-05-30T06:53:23Z)
• CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compression [0.0]
  大規模言語モデル(LLM)は、その膨大なサイズと計算要求のために、重大なデプロイメント上の課題を提示する。 本稿では,2成分圧縮手法である補正適応低ランク分解(CALR)を導入する。 CALR はパラメータ数を 26.93% から 51.77% に削減でき、元のモデルの性能の59.45% から 90.42% に維持できることを示した。
  論文  参考訳（メタデータ） (2025-08-21T13:16:02Z)
• QuantVSR: Low-Bit Post-Training Quantization for Real-World Video Super-Resolution [53.13952833016505]
  実世界のビデオ超解像(VSR)のための低ビット量子化モデルを提案する。 キャリブレーションデータセットを用いて各レイヤの空間的および時間的複雑さを計測する。 我々はFPおよび低ビット分岐を改良し、同時最適化を実現する。
  論文  参考訳（メタデータ） (2025-08-06T14:35:59Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。