論文の概要: MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations
- arxiv url: http://arxiv.org/abs/2611.10649v2
- Date: Wed, 11 Nov 2026 00:13:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.871675
- Title: MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations
- Title(参考訳): MACaQ: 高精度ウェイトとアクティベーションのための高速でモデルに依存しないキャリブレーション量子化
- Abstract要約: ウェイトアクティベーション量子化は、ニューラルネットワーク推論のメモリと計算コストを削減できる。
MXFP4 W4A4ポストトレーニング量子化法であるMACaQを導入し,すべての線形層を独立に扱う。
我々は,MACaQがDuQuant++やMR-GPTQよりも難易度が低く,Llama-3-8Bでは11倍の量子化時間で最も難易度に一致していることを示す。
- 参考スコア(独自算出の注目度): 4.530056625101704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Weight-activation quantization can reduce the memory and compute cost of neural-network inference, but recent methods often require expensive optimization and architecture-specific propagation of basis transforms across layers. We introduce MACaQ, an MXFP4 W4A4 post-training quantization method that treats every linear layer independently. MACaQ applies a per-channel scale and a block-Hadamard transform online to each layer's activations, while absorbing the corresponding inverse transforms into its weights. Retaining these transforms online avoids cross-layer dependencies and enables a simple streaming implementation of the quantization process, in which only one layer must reside in memory at a time. To improve over round-to-nearest quantization, we introduce Flip-Refinement, a Hessian-aware coordinate-descent procedure that greedily moves individual FP4 codes to adjacent representable values. Despite executing the activation transforms at inference time, MACaQ adds only 2.3% end-to-end overhead over pure MXFP4 on Qwen3-32B in vLLM. MACaQ reaches lower perplexity than DuQuant++ and MR-GPTQ, and already matches their best perplexity on Llama-3-8B in 11 times less quantization time. We further apply MACaQ without architecture-specific modifications to an image diffusion model, illustrating the generality of its layer-local design and show quantization of a 122B parameter model in 64 minutes, using only 32.5GB GPU RAM. Code is available at https://github.com/huawei-csl/MACaQ .
- Abstract(参考訳): ウェイトアクティベーション量子化は、ニューラルネットワーク推論のメモリと計算コストを削減できるが、近年の手法では、高コストな最適化と層間の基底変換のアーキテクチャ固有の伝搬を必要とすることが多い。
MXFP4 W4A4ポストトレーニング量子化法であるMACaQを導入し,すべての線形層を独立に扱う。
MACaQはチャネルごとのスケールとブロック・アダマール変換を各層の活性化にオンラインに適用し、対応する逆変換を重みに吸収する。
これらの変換をオンラインで保持することは、層間の依存関係を回避し、量子化プロセスの単純なストリーミング実装を可能にする。
ラウンド・ツー・アレスト量子化を改善するために,Flip-Refinementを導入する。
アクティベーション変換は推論時に実行されるが、MACaQはvLLMのQwen3-32B上で、純粋なMXFP4よりも2.3%だけエンド・ツー・エンドのオーバーヘッドを発生させる。
MACaQはDuQuant++やMR-GPTQよりもパープレキシティが低く、Llama-3-8Bではすでに11倍の量子化時間で最高のパープレキシティと一致している。
さらに,MACaQを画像拡散モデルにアーキテクチャ固有の変更を加えることなく適用し,レイヤローカル設計の一般化を図示し,64分で122Bパラメータモデルの量子化を示す。
コードはhttps://github.com/huawei-csl/MACaQで入手できる。
関連論文リスト
- Accelerating SO(2)-Equivariant Materials Models through Low-Precision Emulation [71.9141151643915]
GNN の 'SO(2)-equivariant' 処理層を高速化するために, 整数大崎スキームの下での「エミュレートされた」低精度演算を導入する。
私たちのフレームワークであるFlashSO(2)は、スループット、精度、メモリフットプリントにおいて、最も正確なネイティブな低精度MMUフォーマットであるTF32より優れています。
論文 参考訳(メタデータ) (2026-10-26T10:27:20Z) - SoloQ: Calibration-Free Quantization for Diffusion Language Models [14.828626704900861]
SoloQは、ウェイトとアクティベーションを正規化された回転基底にマッピングするキャリブレーションのない量子化フレームワークである。
NVFP4では、SoloQはピークメモリを最大2.61倍に削減し、エンドツーエンドの推論を最大2.24倍に高速化する。
論文 参考訳(メタデータ) (2026-10-05T17:30:54Z) - TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization [13.984796236174331]
トレーニング不要なポストトライニング量子化フレームワークとしてTORQ (Two-level Orthogonal Rotation for MXFP4 Quantization)を提案する。
既存の手法と比較して, TORQはMXFP4の活性化量子化の精度を著しく向上させることを示した。
論文 参考訳(メタデータ) (2026-05-19T09:05:47Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳(メタデータ) (2026-02-04T02:54:37Z) - MergeQuant: Accurate 4-bit Static Quantization of Large Language Models by Channel-wise Calibration [23.752021919501207]
本稿では,チャネルごとの静的量子化フレームワークであるMergeQuantを提案する。
MergeQuantは、量子化ステップマイグレーション(QSM)メソッドを通じて、チャネルごとの量子化ステップと対応するスケーリングと線形マッピングを統合する。
Llama-2-7Bモデルでは、MergeQuantはFP16ベースラインと比較してデコードで最大1.77倍、エンドツーエンドで最大2.06倍のスピードアップを達成する。
論文 参考訳(メタデータ) (2025-03-07T04:52:28Z) - FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。
本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。
LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文 参考訳(メタデータ) (2024-10-12T08:10:28Z) - AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。
既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。
本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文 参考訳(メタデータ) (2024-03-19T08:40:21Z) - CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。
LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。
CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文 参考訳(メタデータ) (2023-12-13T07:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。