論文の概要: Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference

• arxiv url: http://arxiv.org/abs/2610.21257v1
• Date: Thu, 15 Oct 2026 04:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.195182
• Title: Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference
• Title（参考訳）: 効率的な乗算数自由LLM推論のための分数2乗量子化法
• Abstract要約: ポストトレーニング量子化(PTQ)は、ウェイトとアクティベーションを低ビット整数にマッピングすることで計算とエネルギーコストを削減する。 パワー・オブ・ツー (PoT) 重み量子化は、シフト加算論理による効率的な乗算自由 LLM 推論を約束する。 実効的な4ビット重み量子化を実現するために, 基本$sqrt2$ (half-octave) の分数PoTグリッドであるフラクタルPoTを導入する。
• 参考スコア（独自算出の注目度）: 28.320440672083823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) demand efficient inference, where the multiply-accumulate (MAC) operations in linear projections dominate compute and energy cost. Post-training quantization (PTQ) reduces this cost by mapping weights and activations to low-bit integers. Power-of-Two (PoT) weight quantization promises efficient multiplier-free LLM inference via shift-add logic, but suffers significant accuracy degradation at low bitwidths due to its coarse base-2 quantization grid. We introduce Fractional PoT (FPoT), a base-$\sqrt{2}$ (half-octave) fractional PoT grid that achieves practical 4-bit weight quantization while preserving a fully integer shift-add datapath. The method combines (i) the base-$\sqrt{2}$ weight grid with uniform integer activations, (ii) a calibration-time grid-alignment refinement absorbed into the static per-channel scale, and (iii) a lightweight 1-adder $\sqrt{2}$ approximation whose error is absorbed during weight calibration via approximate-grid quantization, yielding a processing element (PE) with significantly fewer gates than a 4-bit integer multiplier. On Llama-3-8B with 4-bit weight and activation quantization, FPoT improves zero-shot commonsense reasoning performance by 8.72% relative to the PoT baseline, while maintaining performance close to the uniform integer baseline, with only a negligible 0.4%p degradation. These results hold across various configurations spanning seven models and three bit-widths. Furthermore, FPoT can be integrated with state-of-the-art LLM PTQ methods, demonstrating framework-agnostic applicability.
• Abstract（参考訳）: 大規模言語モデル(LLM)は効率的な推論を必要とし、線形射影における乗算累積(MAC)演算が計算とエネルギーコストを支配している。 ポストトレーニング量子化(PTQ)は、ウェイトとアクティベーションを低ビット整数にマッピングすることで、このコストを削減する。 パワー・オブ・ツー(PoT)の重み量子化は、シフト加算論理による効率的な乗算器なしLSM推論を約束するが、粗いベース2量子化グリッドのため、低ビット幅での大幅な精度低下を被る。 完全整数シフト加算データパスを保ちながら、実用的な4ビットの重み量子化を実現するための基本値$\sqrt{2}$ (half-octave) 分数PoTグリッドであるFractional PoT(FPoT)を導入する。 組み合わせる方法 (i)一様整数のアクティベーションを持つ基底-$\sqrt{2}$ウェイトグリッド。 二 キャリブレーション時格子配向補正を静的チャネル単位のスケールに吸収し、 (iii)軽量な1-adder $\sqrt{2}$近似であり、4ビット整数乗算器よりもはるかに少ないゲートを持つ処理素子(PE)が得られる。 4ビットの重みとアクティベーション量子化を持つLlama-3-8Bでは、FPoTはゼロショットコモンセンス推論性能をPoTベースラインに対して8.72%向上し、均一な整数ベースラインに近い性能を維持しながら、0.4%しか劣化しない。 これらの結果は、7つのモデルと3つのビット幅にまたがる様々な構成にまたがる。 さらに、FPoTは最先端のLCM PTQメソッドと統合することができ、フレームワークに依存しない適用性を示す。

関連論文リスト

• Recurrent Residual Quantization: A Progressive Multi-Precision Representation for LLMs [9.68624792431081]
  本稿では,学習後の量子化フレームワークであるRecurrent Residual Quantization (RRQ)を紹介する。 RRQは、重みを低ビットの量子化された基底として表し、量子化された残差補正の列を表わす。 Qwen3-8Bでは,全RTN 2-/4-/6-/8-bitパッケージを1,293秒で構築した。
  論文  参考訳（メタデータ） (2026-08-04T08:32:05Z)
• Multi-Scale Dequant: Eliminating Dequantization Bottleneck via Activation Decomposition for Efficient LLM Inference [12.249074183271743]
  量子化は、効率的な大言語モデル(LLM)の推論に不可欠である。 行列乗算のための高精度な低ビット重みを復号化するためのステップ変換は、現代のAIアクセラレーターにとって重要なボトルネックとなっている。 本稿では,GEMM臨界経路から重み/KV重みを除去する量子化フレームワークであるMulti-Scale Dequant(MSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T09:49:56Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• GPTQT: Quantize Large Language Models Twice to Push the Efficiency [1.3149617027696827]
  本稿では,学習後量子化手法であるGPTQTを導入し,メモリ使用量の削減と処理速度の向上を図る。 重みの量子化誤差の最小化は非効率であり、過度に適合することを示した。 GPTQTは、最初は線形量子化を用いて重みを相対的に高いビットに量子化し、続いて得られた重みを低ビットバイナリ符号化に変換する。
  論文  参考訳（メタデータ） (2024-07-03T08:08:01Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• DB-LLM: Accurate Dual-Binarization for Efficient LLMs [83.70686728471547]
  大規模言語モデル(LLM)は自然言語処理の分野を著しく進歩させてきた。 既存の超低ビット量子化は、常に深刻な精度低下を引き起こす。 本稿では,LLM,すなわちDB-LLMのための新しいデュアルバイナライズ手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T09:04:30Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。