論文の概要: ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization

• arxiv url: http://arxiv.org/abs/2502.02631v1
• Date: Tue, 04 Feb 2025 18:59:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:29:29.430737
• Title: ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization
• Title（参考訳）: ParetoQ:超低ビットLDM量子化におけるスケーリング法則
• Authors: Zechun Liu, Changsheng Zhao, Hanxian Huang, Sijia Chen, Jing Zhang, Jiawei Zhao, Scott Roy, Lisa Jin, Yunyang Xiong, Yangyang Shi, Lin Xiao, Yuandong Tian, Bilge Soran, Raghuraman Krishnamoorthi, Tijmen Blankevoort, Vikas Chandra,
• Abstract要約: 本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
• 参考スコア（独自算出の注目度）: 58.84018707089315
• License:
• Abstract: The optimal bit-width for achieving the best trade-off between quantized model size and accuracy has been a subject of ongoing debate. While some advocate for 4-bit quantization, others propose that 1.58-bit offers superior results. However, the lack of a cohesive framework for different bits has left such conclusions relatively tenuous. We present ParetoQ, the first unified framework that facilitates rigorous comparisons across 1-bit, 1.58-bit, 2-bit, 3-bit, and 4-bit quantization settings. Our findings reveal a notable learning transition between 2 and 3 bits: For 3-bits and above, the fine-tuned models stay close to their original pre-trained distributions, whereas for learning 2-bit networks or below, the representations change drastically. By optimizing training schemes and refining quantization functions, ParetoQ surpasses all previous methods tailored to specific bit widths. Remarkably, our ParetoQ ternary 600M-parameter model even outperforms the previous SoTA ternary 3B-parameter model in accuracy, using only one-fifth of the parameters. Extensive experimentation shows that ternary, 2-bit, and 3-bit quantization maintains comparable performance in the size-accuracy trade-off and generally exceeds 4-bit and binary quantization. Considering hardware constraints, 2-bit quantization offers promising potential for memory reduction and speedup.
• Abstract（参考訳）: 量子化されたモデルサイズと精度の最良のトレードオフを達成するための最適なビット幅は、現在進行中の議論の対象となっている。 4ビット量子化を提唱する意見もあるが、1.58ビットの方が優れた結果をもたらすという意見もある。 しかし、異なるビットに対する凝集的な枠組みの欠如は、そのような結論を比較的厳しく残している。 本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を容易にする最初の統一フレームワークParetoQを提案する。 上記の3ビット以上のモデルでは、微調整されたモデルが元のトレーニング済みの分布に近づき、一方、2ビットネットワーク以下では、表現が大きく変化する。 トレーニングスキームの最適化と量子化関数の精細化により、ParetoQは特定のビット幅に合わせて調整されたすべての従来の手法を超越する。 注目すべきは、我々のParetoQ 3次600Mパラメータモデルは、パラメータの5分の1しか使用せず、以前のSoTA 3次3Bパラメータモデルよりも精度が良いことです。 大規模な実験により、三進数、2ビット、3ビット量子化は大きさと精度のトレードオフにおいて同等のパフォーマンスを維持し、一般に4ビットおよび二進数量子化を超えることが示されている。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。

関連論文リスト

• 2DQuant: Low-bit Post-Training Quantization for Image Super-Resolution [83.09117439860607]
  低ビット量子化は、エッジ展開のための画像超解像(SR)モデルを圧縮するために広く普及している。 低ビット量子化は、フル精度(FP)と比較してSRモデルの精度を低下させることが知られている。 本稿では2DQuantという画像超解像のための2段階の低ビット後量子化(PTQ)法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T06:06:11Z)
• Memory Efficient Optimizers with 4-bit States [22.605392665667136]
  我々は、第1モーメントと第2モーメントの詳細な実験分析を通して、状態のビット幅を4ビットまで押し下げる。 ブロックサイズを小さくし,行次情報と列次情報の両方を用いて量子化を改善することを提案する。 我々の4ビットは、自然言語理解、機械翻訳、画像分類、インストラクションチューニングなど、様々なベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-09-04T10:27:17Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• Pruning Ternary Quantization [32.32812780843498]
  推測時間、モデルサイズ、精度は、ディープモデル圧縮の3つの重要な要素である。 単純で効果的で対称な三項量子化法であるプルーニング三項量子化(PTQ)を提案する。 本手法は,異なるネットワーク構造を持つ画像分類,物体検出・分離タスクについて検証する。
  論文  参考訳（メタデータ） (2021-07-23T02:18:00Z)
• Differentiable Model Compression via Pseudo Quantization Noise [99.89011673907814]
  本稿では,モデルパラメータに独立な擬似量子化雑音を加えて量子化演算子の効果を近似する。 本手法が,画像分類,言語モデリング,音声ソース分離などのベンチマークやアーキテクチャにおいて,最先端の量子化技術を上回ることを実験的に検証した。
  論文  参考訳（メタデータ） (2021-04-20T14:14:03Z)
• Least squares binary quantization of neural networks [19.818087225770967]
  値が-1と1にマップされる二項量子化に焦点を当てる。 2ビット対1ビット量子化のパリト最適性に触発されて、証明可能な最小二乗誤差を持つ新しい2ビット量子化を導入する。
  論文  参考訳（メタデータ） (2020-01-09T00:01:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。