論文の概要: GA-SVD: Generation-aware Singular Value Decomposition for LLM Compression

• arxiv url: http://arxiv.org/abs/2610.15398v1
• Date: Sun, 11 Oct 2026 06:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 01:18:38.316471
• Title: GA-SVD: Generation-aware Singular Value Decomposition for LLM Compression
• Title（参考訳）: GA-SVD:LLM圧縮のための世代別特異値分解
• Abstract要約: 大規模言語モデル(LLM)は、幅広い推論および生成タスクにまたがる強力な一般化を示す。 1ショットの低ランク圧縮は、モデルサイズと推論コストを効果的に削減するため、有望なソリューションである。 LLMの世代別低ランク圧縮フレームワークであるGA-SVDを提案する。
• 参考スコア（独自算出の注目度）: 62.522809701584215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) demonstrate strong generalization across a broad range of reasoning and generation tasks, but their large parameter counts impose substantial memory and computation costs, hindering deployment in practical resource-constrained settings. One-shot low-rank compression is a promising solution since it reduces model size and inference cost effectively. However, existing SVD-based methods primarily target multiple-choice benchmarks and often fail to preserve performance on generation tasks. Moreover, their rank allocation strategies are typically heuristic. We propose GA-SVD, a generation-aware low-rank compression framework for LLMs. First, we introduce Generation-Aware Weight Whitening (GAWW), which leverages gradients from on-policy knowledge distillation to construct whitening transformations aligned with generative behavior. Second, we develop an evolutionary global rank allocation method that searches for effective layer-wise rank allocation under a given global compression ratio. Across extensive experiments on Mistral-7B, Qwen3 series, and Llama-3.3 models, evaluated on both multiple-choice and generative benchmarks, GA-SVD consistently outperforms existing SVD-based baselines and achieves state-of-the-art (SoTA) results. We further demonstrate scalability by applying our method to models with up to 70B parameters.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、広範囲の推論および生成タスクに対して強力な一般化を示すが、その大きなパラメータは、メモリと計算コストを大幅に削減し、実用的なリソース制約のある設定でのデプロイメントを妨げている。 1ショットの低ランク圧縮は、モデルサイズと推論コストを効果的に削減するため、有望なソリューションである。 しかし、既存のSVDベースのメソッドは主にマルチ選択ベンチマークをターゲットにしており、生成タスクのパフォーマンスを維持できないことが多い。 さらに、彼らのランク割り当て戦略は概してヒューリスティックである。 LLMの世代別低ランク圧縮フレームワークであるGA-SVDを提案する。 まず, 都市部における知識蒸留からの勾配を利用して, 生成行動に適合した白化変換を構築する。 第2に、所定の大域的圧縮比の下で効果的な階層的ランク割り当てを探索する進化的グローバルランク割り当て手法を開発する。 Mistral-7B、Qwen3シリーズ、Llama-3.3モデルに関する広範な実験は、複数選択と生成ベンチマークの両方で評価され、GA-SVDは既存のSVDベースラインを一貫して上回り、最先端(SoTA)の結果を得る。 最大70Bパラメータを持つモデルに我々の手法を適用することにより、スケーラビリティをさらに実証する。

関連論文リスト

• LACE-SVD: Loss-Aware SVD with Cumulative Error Correction for LLM Compression [4.953709812007795]
  LLM圧縮に累積誤差補正を施したLos-Aware SVDフレームワークであるLACE-SVDを提案する。 LACE-SVDはまず、候補層ワイド圧縮比によって誘導されるキャリブレーション負-log-like-hood増加を推定する。 その後、圧縮されたモデルをクローズドフォームのローカル更新で洗練し、残ストリーム出力モジュールに対する伝搬認識補正を導入する。
  論文  参考訳（メタデータ） (2026-07-03T07:46:13Z)
• LASER: Loss-Aware Singular-value Decomposition and Rank Allocation for Efficient Low-Precision Vision-Language Models [12.483003654711203]
  視覚言語モデル(VLM)は、強力なマルチモーダル推論機能を提供するが、その計算コストと高いパラメータ数によって、リソース制約のあるデバイスへの展開が困難になる。 提案するtextitER(textbfLoss-textbfLASAware textbfSingular-value dtextbfEcomposition and textbfRank allocation)は,低精度なVLM推論のための低ランク圧縮フレームワークである。
  論文  参考訳（メタデータ） (2026-05-30T06:53:23Z)
• Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
  我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。 モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。 多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:05:10Z)
• AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [75.1196637934987]
  Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
  論文  参考訳（メタデータ） (2025-02-03T14:34:37Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。