論文の概要: FIGFLEX: A Mixed-Precision FP-INT GEMM Accelerator Co-Designed with Low-Bit LLM Quantization

• arxiv url: http://arxiv.org/abs/2610.30480v1
• Date: Wed, 21 Oct 2026 21:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.144812
• Title: FIGFLEX: A Mixed-Precision FP-INT GEMM Accelerator Co-Designed with Low-Bit LLM Quantization
• Title（参考訳）: FIGFLEX:低ビットLLM量子化を併用した混合精度FP-INT GEMM加速器
• Abstract要約: 本稿では,ビット並列データパスが精度低下に応じてスループットを拡大する混合精度加速器FIGFLEXを提案する。 LLaMA-2-7Bでは、FIGFLEXはGPTQ、AWQ、SliM-LLM、AMQ、QuIP#よりも低い3ビットおよび2ビットの平均精度で5.85と8.77のWikiText-2のパープレキシティを実現する。
• 参考スコア（独自算出の注目度）: 2.4711540429841503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight-only quantization keeps LLM activations in floating point and stores weights as low-bit integers, turning the dominant workload into floating-point-integer (FP-INT) general matrix multiplication. Recent quantizers reach a 2-3-bit average with mixed precision, but hardware has not kept pace: GPUs dequantize weights to FP16 before the tensor-core multiply-accumulate, and bit-parallel FP-INT accelerators run at a single weight precision, so fewer bits save memory but not computation. In this paper, we present FIGFLEX, an algorithm-hardware co-designed mixed-precision accelerator whose bit-parallel datapath scales throughput as precision falls. FIGFLEX contributes (1) a shift-add, radix-4 reformulation of FP-INT multiplication that fuses the multiply-accumulate into a unified, precision-flexible partial-product reduction and roughly halves the partial products, together with a novel INT3 optimization that reclaims the idle datapath radix-4 leaves at that precision; and (2) a mixed-precision quantizer that assigns each channel group its bit-width according to the error GPTQ cannot compensate, with a per-input-channel column scaling whose power-of-two normalization keeps the scaled activations out of the FP16 subnormal range, so that the quantized model maps directly onto FIGFLEX's datapath with the same accuracy as on a GPU. On LLaMA-2-7B, FIGFLEX attains 5.85 and 8.77 WikiText-2 perplexity at 3- and 2-bit average precision, lower than GPTQ, AWQ, SliM-LLM, AMQ, and QuIP# (without fine-tuning), while delivering 1.56x and 1.42x higher whole-chip throughput per area on the linear GEMMs of a 3-bit mixed-precision model than AxCore and FIGLUT, respectively.
• Abstract（参考訳）: 重みのみの量子化はLLMの活性化を浮動小数点に保ち、重みを低ビット整数として保存し、支配的なワークロードを浮動小数点整数(FP-INT)の一般行列乗算に変換する。 GPUはテンソルコアの乗算累積の前に重みをFP16に減らし、ビットパラレルのFP-INTアクセラレータは1重みの精度で実行されるため、メモリを節約できるビットは少ないが計算はできない。 本稿では、ビット並列データパスが精度低下に応じてスループットをスケールする、アルゴリズムハードウェアで設計した混合精度加速器FIGFLEXを提案する。 FIGFLEXは(1)FP-INT乗算のシフト加算、ラディックス-4の修正、FP-INT乗算の修正により、乗算を統一された精度の柔軟な部分積の減算と、その精度でアイドルデータパスのラディックス4を再生する新しいINT3最適化、(2)GPTQに従って各チャネルグループにビット幅を割り当てる混合精度量子化器、そして、2つの正規化によるインプットチャネル列のスケーリングにより、FP16の正規化範囲からスケールされたアクティベーションが保たれるため、量子化モデルはFIGFLEXのデータパスに直接GPUの精度でマッピングする。 LLaMA-2-7Bでは、FIGFLEXはGPTQ、AWQ、SliM-LLM、AMQ、QuIP#よりも低い3ビット平均精度で5.85と8.77のWikiText-2のパープレキシティを達成し、AxCoreとFIGLUTより3ビット混合精度モデルの線形GEMM上で、それぞれ1.56xと1.42倍高い全チップスループットを提供する。

関連論文リスト

• Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference [28.320440672083823]
  ポストトレーニング量子化(PTQ)は、ウェイトとアクティベーションを低ビット整数にマッピングすることで計算とエネルギーコストを削減する。 パワー・オブ・ツー (PoT) 重み量子化は、シフト加算論理による効率的な乗算自由 LLM 推論を約束する。 実効的な4ビット重み量子化を実現するために, 基本$sqrt2$ (half-octave) の分数PoTグリッドであるフラクタルPoTを導入する。
  論文  参考訳（メタデータ） (2026-10-15T04:50:03Z)
• SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference [4.219937026460372]
  SharQは、オンラインスパース-デンス分解による活性化空間とFP4量子化を橋渡しする。 スパースFP4 GEMMはバックボーンを処理し、密度の高いFP4 GEMMはマスク誘起活性化損失とスパースパス量子化誤差の両方を補償する。
  論文  参考訳（メタデータ） (2026-06-25T04:19:04Z)
• Multi-Scale Dequant: Eliminating Dequantization Bottleneck via Activation Decomposition for Efficient LLM Inference [12.249074183271743]
  量子化は、効率的な大言語モデル(LLM)の推論に不可欠である。 行列乗算のための高精度な低ビット重みを復号化するためのステップ変換は、現代のAIアクセラレーターにとって重要なボトルネックとなっている。 本稿では,GEMM臨界経路から重み/KV重みを除去する量子化フレームワークであるMulti-Scale Dequant(MSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T09:49:56Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• AMS-QUANT: Adaptive Mantissa Sharing for Floating-point Quantization [7.413057271242686]
  量子化、特に浮動小数点量子化は、大きな言語モデル(LLM)推論を高速化できることが知られている。 整数ビット幅から非整数ビット幅への浮動小数点量子化探索を探索するAMS-Quantを提案する。 AMS-Quant はモデルを FP-5.33-e2m3 と FP4.25-e2m2 に量子化し、FP16 の推論よりもデコードを大幅に高速化できることを示す。
  論文  参考訳（メタデータ） (2025-10-16T15:37:23Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• Fast Matrix Multiplications for Lookup Table-Quantized LLMs [58.11584672945781]
  FLUTEはLUT量子化LLM用のフレキシブルなルックアップテーブルエンジンである。 バッチサイズ32と量子化グループサイズ128では、FLUTEカーネルは既存のGEMMカーネルよりも2〜4倍高速である。
  論文  参考訳（メタデータ） (2024-07-15T17:55:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。