論文の概要: SWSC: Shared Weight for Similar Channel in LLM

• arxiv url: http://arxiv.org/abs/2501.08631v1
• Date: Wed, 15 Jan 2025 07:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 16:46:28.386779
• Title: SWSC: Shared Weight for Similar Channel in LLM
• Title（参考訳）: SWSC:LLMにおける類似チャンネルの共有ウェイト
• Authors: Binrui Zeng, Yongtao Tang, Xiaodong Liu, Xiaopeng Li,
• Abstract要約: 大規模言語モデル(LLM)は、複数の産業で発展を加速させている。 類似チャネルに対する共有重みの概念に基づくLLM圧縮手法であるSWSCを提案する。
• 参考スコア（独自算出の注目度）: 6.795209523806925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have spurred development in multiple industries. However, the growing number of their parameters brings substantial storage and computing burdens, making it essential to explore model compression techniques for parameter reduction and easier deployment. We propose SWSC, an LLM compression method based on the concept of Shared Weight for Similar Channel. It uses the K-Means clustering algorithm to cluster model weights channel-by-channel, generating clusters with highly similar vectors within each. A representative vector from each cluster is selected to approximately replace all vectors in the cluster, significantly reducing the number of model weight parameters. However, approximate restoration will inevitably cause damage to the performance of the model. To tackle this issue, we perform singular value decomposition on the weight error values before and after compression and retain the larger singular values and their corresponding singular vectors to compensate for the accuracy. The experimental results show that our method can effectively ensure the performance of the compressed LLM even under low-precision conditions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複数の産業で発展を加速させている。 しかし、パラメータの増大により、ストレージと計算の負担が大きくなり、パラメータの削減と展開の容易化のためにモデル圧縮技術を検討することが不可欠である。 類似チャネルに対する共有重みの概念に基づくLLM圧縮手法であるSWSCを提案する。 K-Meansクラスタリングアルゴリズムを使用してチャネル単位の重みをクラスタリングし、それぞれに非常に類似したベクトルを持つクラスタを生成する。 各クラスタからの代表ベクトルが選択され、クラスタ内のすべてのベクトルをほぼ置き換え、モデルの重みパラメータの数を著しく削減する。 しかし、近似的な復元は必然的にモデルの性能にダメージを与える。 この問題を解決するために、圧縮前後の重み誤差値に対して特異値分解を行い、より大きな特異値とその対応する特異ベクトルを保持して精度を補正する。 実験結果から,低精度条件下でも圧縮LDMの性能を効果的に確保できることが示唆された。

関連論文リスト

• Compression Scaling Laws:Unifying Sparsity and Quantization [65.05818215339498]
  プレトレーニング中の大規模言語モデル(LLM)のスケーリング挙動に異なる圧縮手法がどう影響するかを検討する。 重みのみの量子化は強力なパラメータ効率乗算器を実現する一方で、重みとアクティベーションの完全な量子化は低ビット幅でのリターンの低下を示す。 以上の結果から,異なる圧縮手法を共通のスケーリング法枠組みの下で統一できることが示唆された。
  論文  参考訳（メタデータ） (2025-02-23T04:47:36Z)
• Choose Your Model Size: Any Compression by a Single Gradient Descent [9.074689052563878]
  イテレーティブ・プルーニング(ACIP)による圧縮について紹介する。 ACIPは、単一の勾配降下ランから圧縮性能トレードオフを決定するアルゴリズム的なアプローチである。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Singular Value Scaling: Efficient Generative Model Compression via Pruned Weights Refinement [9.454314879815337]
  生成モデルは、しばしば支配的な特異ベクトルを示し、微調整効率を阻害し、最適以下の性能をもたらす。 SVS(Singular Value Scaling, Singular Value Scaling, SVS)は, 両モデルタイプに適用可能な, プレナードウェイトを精製する多用途技術である。 SVSは、追加のトレーニングコストなしでモデルタイプ間の圧縮性能を改善する。
  論文  参考訳（メタデータ） (2024-12-23T08:40:08Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• Residual vector quantization for KV cache compression in large language model [2.3094645821058735]
  KVキャッシュ圧縮法は主にデコード時のメモリ要求を減らすスカラー量子化技術に依存している。 本研究では,大規模言語モデル(LLM)におけるKVキャッシュの圧縮に,高忠実度音声圧縮に広く用いられている残差ベクトル量子化を適用した。 我々は指数移動平均を用いてコードブックを学習し、ベクトル量子化設定に通常使用される入力と出力のプロジェクションを含む他の学習可能なパラメータは存在しない。
  論文  参考訳（メタデータ） (2024-10-21T07:20:41Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Adaptive Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization [42.53133823994923]
  低ランク圧縮は、大規模言語モデルにおける非必須パラメータを減らすための有望な手法である。 大型モデルの低ランク特性に関する実証的研究を行う。 大規模言語モデルに適した低ランク圧縮手法を提案する。
  論文  参考訳（メタデータ） (2024-05-17T08:27:12Z)
• Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• OneBit: Towards Extremely Low-bit Large Language Models [66.29839811207617]
  本稿では, LLMの重量行列を1ビットに大胆に定量化し, LLMの極低ビット幅展開への道を開く。 実験によると、OneBitは(LLaMAモデルの非量子化性能の少なくとも81%)優れたパフォーマンスを、堅牢なトレーニングプロセスで達成している。
  論文  参考訳（メタデータ） (2024-02-17T14:26:57Z)
• Deep learning model compression using network sensitivity and gradients [3.52359746858894]
  非リトレーニング条件とリトレーニング条件の両方に対するモデル圧縮アルゴリズムを提案する。 まず,ネットワークパラメータの感度を用いた深層学習モデルの圧縮のためのBin & Quantアルゴリズムを提案する。 第2のケースでは、新しい勾配重み付きk平均クラスタリングアルゴリズム(GWK)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T03:02:40Z)
• OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization [32.60139548889592]
  本稿では,新しいワンショットプルーニング量子化(OPQ)を提案する。 OPQは、事前訓練された重みパラメータのみによる圧縮割り当てを解析的に解決する。 本稿では,共通コードブックを共有するために各レイヤの全チャネルを強制する,統一的なチャネルワイド量子化手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:05:25Z)
• Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
  与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。 標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。 本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
  論文  参考訳（メタデータ） (2020-04-15T20:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。