論文の概要: BAQ: Efficient Bit Allocation Quantization for Large Language Models

• arxiv url: http://arxiv.org/abs/2506.05664v1
• Date: Fri, 06 Jun 2025 01:27:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.276177
• Title: BAQ: Efficient Bit Allocation Quantization for Large Language Models
• Title（参考訳）: BAQ:大規模言語モデルのための効率的なビット割り当て量子化
• Authors: Chao Zhang, Li Wang, Samson Lasaulce, Merouane Debbah,
• Abstract要約: 学習後モデルの量子化は、大規模言語モデルのメモリと計算コストを削減するために広く採用されている手法である。 既存の手法の多くは均一またはビット幅の割り当てに依存しており、量子化ノイズに対するウェイトの不均一な感度を考慮できない。 本稿では,Hessianプロキシから得られた感度指標に基づいて,量子化ビット幅を割り当てる新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.427223431012454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training model quantization is a widely adopted technique for reducing the memory and computational costs of large language models (LLMs). However, most existing methods rely on uniform or heuristic bitwidth assignments, failing to account for the nonuniform sensitivity of weights to quantization noise. In this paper, we propose a novel framework for allocating quantization bitwidths based on sensitivity metrics derived from a Hessian proxy. We make key assumptions, which allow the layer/component-wise loss function to be expressed as an explicit function of the bitwidths. This enables a neat formulation of the bit allocation problem as a convex optimization task, whose closed-form solution adapts precision across weights to minimize the layer-wise quantization loss. Inspecting the solution provides several insights (such as the equal-loss structure), which are then exploited to design the proposed \textbf{BAQ} (Bit Allocation Quantization) algorithm. The proposed algorithm achieves a good trade-off between loss minimization and complexity and allows BAQ to be integrated into standard quantization pipelines with minimal overhead. Experimental results show that BAQ consistently outperforms GPTQ, achieving up to 56$\times$ lower perplexity at the same bitwidth on large language models ranging from 125M to 30B parameters. Leveraging our analytical results derived from solving the optimal bit allocation problem, we also provide a theoretical explanation for the observed gains. All codes of this paper are available at https://github.com/CSU-ModelCompression/BAQ.
• Abstract（参考訳）: 後学習モデル量子化は、大規模言語モデル(LLM)のメモリと計算コストを低減させる手法として広く採用されている。 しかし、既存のほとんどの手法は均一またはヒューリスティックなビット幅の割り当てに依存しており、量子化ノイズに対する重みの不均一な感度を考慮できない。 本稿では,Hessianプロキシから得られた感度指標に基づいて,量子化ビット幅を割り当てる新しいフレームワークを提案する。 我々は、ビット幅の明示的な関数として層/成分損失関数を表現できる重要な仮定を行う。 これにより、ビット割り当て問題を凸最適化タスクとして簡潔に定式化することができ、その閉形式解は重みによって精度を調整し、層単位での量子化損失を最小限に抑える。 解を検査すると、等損失構造のようないくつかの洞察が得られ、提案された \textbf{BAQ} (Bit Allocation Quantization) アルゴリズムを設計するために利用される。 提案アルゴリズムは損失最小化と複雑性の良好なトレードオフを実現し,BAQを最小限のオーバーヘッドで標準的な量子化パイプラインに統合する。 実験の結果, BAQ は GPTQ を一貫して上回り, 125M から 30B のパラメータを含む大規模言語モデルにおいて, 56$\times$低いパープレキシティを同じビット幅で達成していることがわかった。 最適ビット割り当て問題の解法から得られた解析結果を活用することにより、観測された利得に関する理論的説明も提供する。 この論文の全コードはhttps://github.com/CSU-ModelCompression/BAQ.comで公開されている。

関連論文リスト

• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• MixQuant: Mixed Precision Quantization with a Bit-width Optimization Search [7.564770908909927]
  量子化は、効率的なディープニューラルネットワーク(DNN)を作成する技術である ラウンドオフ誤差に基づいて各層重みに対する最適な量子化ビット幅を求める検索アルゴリズムであるMixQuantを提案する。 我々は、MixQuantと最先端の量子化手法BRECQを組み合わせることで、BRECQ単独よりも優れた量子化モデル精度が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-29T15:49:54Z)
• Designing strong baselines for ternary neural network quantization through support and mass equalization [7.971065005161565]
  ディープニューラルネットワーク(DNN)は、コンピュータビジョンにおける幅広いアプリケーションにおいて、最高のパフォーマンスを提供する。 浮動小数点値を3次値に定量化することにより、この計算負担を劇的に低減することができる。 提案手法は, 様々なシナリオを用いて三次量子化の性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-30T07:35:07Z)
• Solving Oscillation Problem in Post-Training Quantization Through a Theoretical Perspective [74.48124653728422]
  ポストトレーニング量子化(PTQ)は、事実上最も効率的な圧縮手法の1つである。 我々は、PTQ法で見過ごされた振動問題について論じる。
  論文  参考訳（メタデータ） (2023-03-21T14:52:52Z)
• End-to-end resource analysis for quantum interior point methods and portfolio optimization [63.4863637315163]
  問題入力から問題出力までの完全な量子回路レベルのアルゴリズム記述を提供する。 アルゴリズムの実行に必要な論理量子ビットの数と非クリフォードTゲートの量/深さを報告する。
  論文  参考訳（メタデータ） (2022-11-22T18:54:48Z)
• Learning Quantization in LDPC Decoders [14.37550972719183]
  均一雑音の付加として量子化効果を模倣する浮動小数点代理モデルを提案する。 次に、深層学習に基づく手法を適用し、メッセージビット幅を最適化する。 平均メッセージ量子化ビット幅3.1ビットにおける浮動小数点復号の0.2dB以内の誤り率性能を報告する。
  論文  参考訳（メタデータ） (2022-08-10T07:07:54Z)
• BSQ: Exploring Bit-Level Sparsity for Mixed-Precision Neural Network Quantization [32.770842274996774]
  混合精度量子化は、ディープニューラルネットワークの性能と圧縮率の最適なトレードオフを実現できる可能性がある。 従来の方法は、小さな手作業で設計された検索空間のみを調べるか、面倒なニューラルネットワークアーキテクチャ検索を使用して広大な検索空間を探索する。 本研究では、ビットレベルスパーシティを誘導する新たな角度から、混合精度量子化に取り組むためのビットレベルスパーシティ量子化(BSQ)を提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:37:41Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• VecQ: Minimal Loss DNN Model Compression With Vectorized Weight Quantization [19.66522714831141]
  我々は、最小の直接量子化損失とモデル精度を保証できるVecQと呼ばれる新しい量子化ソリューションを開発した。 また,学習中に提案した量子化過程を高速化するために,パラメータ化推定と確率ベース計算を用いて量子化過程を高速化する。
  論文  参考訳（メタデータ） (2020-05-18T07:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。