論文の概要: AdaSVD: Adaptive Singular Value Decomposition for Large Language Models

• arxiv url: http://arxiv.org/abs/2502.01403v2
• Date: Tue, 04 Feb 2025 03:51:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:06:08.357425
• Title: AdaSVD: Adaptive Singular Value Decomposition for Large Language Models
• Title（参考訳）: AdaSVD:大規模言語モデルのための適応特異値分解
• Authors: Zhiteng Li, Mingyuan Xia, Jingyuan Zhang, Zheng Hui, Linghe Kong, Yulun Zhang, Xiaokang Yang,
• Abstract要約: Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。 既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。 適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
• 参考スコア（独自算出の注目度）: 84.60646883395454
• License:
• Abstract: Large language models (LLMs) have achieved remarkable success in natural language processing (NLP) tasks, yet their substantial memory requirements present significant challenges for deployment on resource-constrained devices. Singular Value Decomposition (SVD) has emerged as a promising compression technique for LLMs, offering considerable reductions in memory overhead. However, existing SVD-based methods often struggle to effectively mitigate the errors introduced by SVD truncation, leading to a noticeable performance gap when compared to the original models. Furthermore, applying a uniform compression ratio across all transformer layers fails to account for the varying importance of different layers. To address these challenges, we propose AdaSVD, an adaptive SVD-based LLM compression approach. Specifically, AdaSVD introduces adaComp, which adaptively compensates for SVD truncation errors by alternately updating the singular matrices U and V^T. Additionally, AdaSVD introduces adaCR, which adaptively assigns layer-specific compression ratios based on the relative importance of each layer. Extensive experiments across multiple LLM families and evaluation metrics demonstrate that AdaSVD consistently outperforms state-of-the-art (SOTA) SVD-based methods, achieving superior performance with significantly reduced memory requirements. The code and models will be available at https://github.com/ZHITENGLI/AdaSVD.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて顕著な成功を収めているが、その大きなメモリ要件はリソースに制約のあるデバイスへの展開において重大な課題を呈している。 Singular Value Decomposition (SVD) はLLMの圧縮技術として登場し、メモリオーバーヘッドを大幅に削減した。 しかし、既存の SVD ベースの手法は、SVD トランケーションによって引き起こされるエラーを効果的に軽減するのに苦労することが多く、元のモデルと比較して顕著な性能差が生じる。 さらに、すべてのトランス層に均一な圧縮比を適用することは、異なるレイヤの重要性を考慮できない。 これらの課題に対処するため,適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。 具体的には、AdaSVDは、特異行列 U と V^T を交互に更新することにより、SVD トランケーションエラーを適応的に補償する adaComp を導入する。 さらに、AdaSVDでは各レイヤの相対的重要性に基づいて、層固有の圧縮比を適応的に割り当てるadaCRを導入している。 複数のLLMファミリおよび評価指標にわたる広範囲な実験により、AdaSVDは、常に最先端(SOTA)のSVDベースの手法より優れており、メモリ要求を大幅に削減して優れた性能を達成している。 コードとモデルはhttps://github.com/ZHITENGLI/AdaSVD.comで入手できる。

関連論文リスト

• Dobi-SVD: Differentiable SVD for LLM Compression and Some New Perspectives [59.46211685419206]
  SVDの最適利用は、単にアクティベーションを最適化距離として使うのではなく、停止するアクティベーションに関係していると論じる。 本稿では, SVD に基づく LLM 圧縮に対して, 新たな原理的アプローチを確立する Dobi-SVD を提案する。
  論文  参考訳（メタデータ） (2025-02-04T21:17:51Z)
• VLsI: Verbalized Layers-to-Interactions from Large to Small Vision Language Models [63.27511432647797]
  VLsI: Verbalized Layers-to-Interactions, a new VLM family in 2B and 7B model size。 GPT-4Vよりも優れた性能向上(2Bは11.0%、7Bは17.4%)を達成した。
  論文  参考訳（メタデータ） (2024-12-02T18:58:25Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Basis Sharing: Cross-Layer Parameter Sharing for Large Language Model Compression [5.206085750261924]
  大規模言語モデル(LLM)は、推論においてかなりの量のメモリストレージを必要とする。 本稿では,特異値分解を伴う異なる層間のパラメータ共有について検討する。 総合的な実験により、Basis Sharingは最先端のSVDベースの圧縮アプローチより優れていることが示された。
  論文  参考訳（メタデータ） (2024-10-02T14:30:02Z)
• SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression [14.818355326032538]
  大規模言語モデル(LLM)のための新しいSVDベースの圧縮手法であるSVD-LLMを提案する。 SVD-LLMは、特異値と圧縮損失の直接マッピングを保証するために、トラクション対応のデータホワイトニング戦略を組み込んでいる。 以上の結果から, SVD-LLMは最先端技術, 特に高モデル圧縮比よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-12T07:31:18Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Language model compression with weighted low-rank factorization [73.61874728240568]
  本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。 結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。 提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-06-30T21:57:07Z)
• Direction is what you need: Improving Word Embedding Compression in Large Language Models [7.736463504706344]
  本稿では,AutoEncoderアーキテクチャを利用してトランスフォーマーモデルにトークン埋め込みを圧縮する新たな損失目標を提案する。 提案手法は,初期の言語モデルであるPerplexityにおいて,よく使われるSVDベースの行列分解手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-15T14:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。