論文の概要: Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs

• arxiv url: http://arxiv.org/abs/2309.05516v3
• Date: Fri, 17 May 2024 09:12:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 20:43:15.507418
• Title: Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs
• Title（参考訳）: LLMの量子化のための符号付き勾配線による軽量ラウンドリングの最適化
• Authors: Wenhua Cheng, Weiwei Zhang, Haihao Shen, Yiyang Cai, Xin He, Kaokao Lv, Yi Liu,
• Abstract要約: SignRoundは、符号付き勾配降下(SignSGD)を使用して、200ステップ以内のラウンド値とウェイトクリッピングを最適化する手法である。 2ビットから4ビットにまたがる最近の手法と比較して、低いチューニングコストを維持しつつ、追加の推論オーバーヘッドを導入することなく、優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 16.596819845726625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated exceptional proficiency in language-related tasks. However, their deployment presents significant challenges due to their substantial memory and storage requirements. To address this challenge, weight-only quantization has emerged as a promising solution. Previous research has indicated that fine-tuning through up and down rounding can enhance performance. In this study, we introduce SignRound, a method that utilizes signed gradient descent (SignSGD) to optimize rounding values and weight clipping within just 200 steps, combining the strengths of both Quantization-Aware Training (QAT) and Post-Training Quantization (PTQ). SignRound achieves outstanding results compared to recent methods across 2 to 4 bits, while maintaining low tuning costs and without introducing any additional inference overhead. For instance, SignRound led to absolute average accuracy improvements ranging from 6.91\% to 33.22\% at 2 bits. Furthermore, it demonstrates robust generalization to various recent models and achieves near-lossless quantization in most scenarios at 4 bits. The source code is publicly available at \url{https://github.com/intel/auto-round}.
• Abstract（参考訳）: 言語モデル(LLM)は、言語に関連したタスクにおいて、例外的な習熟度を示す。 しかし、そのデプロイメントは、メモリとストレージの要求がかなり大きいため、重大な課題を呈している。 この課題に対処するために、重量のみの量子化が有望な解決策として登場した。 従来の研究は、上下方向の微調整によって性能が向上することを示した。 本研究では,署名勾配降下法(SignSGD)を用いて,200ステップ以内の丸め値と重み切りを最適化し,QAT(Quantization-Aware Training)とPTQ(Post-Training Quantization)の両長みを組み合わせたSignRoundを提案する。 SignRoundは2ビットから4ビットにわたる最近の手法と比較して、チューニングコストが低く、追加の推論オーバーヘッドを発生させることなく、優れた結果が得られる。 例えば、SignRoundは平均精度を6.91\%から2ビットで33.22\%に改善した。 さらに、様々な最近のモデルに対して堅牢な一般化を示し、ほとんどのシナリオにおいて4ビットでほぼロスレス量子化を実現する。 ソースコードは \url{https://github.com/intel/auto-round} で公開されている。

関連論文リスト

• GWQ: Gradient-Aware Weight Quantization for Large Language Models [61.17678373122165]
  勾配対応重み量子化(GWQ)は、勾配を利用して外れ値の局所化を行う、低ビット重み量子化のための最初の量子化手法である。 GWQはFP16精度で上位1%の外れ値に対応し、残りの非外れ値重みは低ビットフォーマットで格納される。 ゼロショットタスクでは、GWQ量子化モデルは他の量子化法よりも精度が高い。
  論文  参考訳（メタデータ） (2024-10-30T11:16:04Z)
• SLiM: One-shot Quantized Sparse Plus Low-rank Approximation of LLMs [2.7624021966289605]
  大規模言語モデル(LLM)は、自然言語の理解と生成タスクに革命をもたらした。 LLMは、大きなパラメータサイズのため、メモリ消費が高く、推論時間が遅い。 本稿では,1ショットの量子スパースプラス低ランク近似を用いたLEMの圧縮手法であるSLiMを紹介する。
  論文  参考訳（メタデータ） (2024-10-12T18:36:07Z)
• EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
  量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。 より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。 効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
  論文  参考訳（メタデータ） (2024-07-10T17:53:30Z)
• GPTQT: Quantize Large Language Models Twice to Push the Efficiency [1.3149617027696827]
  本稿では,学習後量子化手法であるGPTQTを導入し,メモリ使用量の削減と処理速度の向上を図る。 重みの量子化誤差の最小化は非効率であり、過度に適合することを示した。 GPTQTは、最初は線形量子化を用いて重みを相対的に高いビットに量子化し、続いて得られた重みを低ビットバイナリ符号化に変換する。
  論文  参考訳（メタデータ） (2024-07-03T08:08:01Z)
• APTQ: Attention-aware Post-Training Mixed-Precision Quantization for Large Language Models [12.006605064782567]
  APTQ (Attention-aware Post-Training Mixed-Precision Quantization) を提案する。 我々は、ヘッセントレースを混合精度量子化の感度指標として利用し、情報精度の低下を確実にする。 実験の結果、APTQは従来の量子化法を超え、平均4ビット幅と5.22パープレキシティを達成した。
  論文  参考訳（メタデータ） (2024-02-21T07:45:22Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。