論文の概要: ITQ3_S: High-Fidelity 3-bit LLM Inference via Interleaved Ternary Quantization with Rotation-Domain Smoothing
- arxiv url: http://arxiv.org/abs/2603.27914v2
- Date: Tue, 31 Mar 2026 03:02:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:02.372625
- Title: ITQ3_S: High-Fidelity 3-bit LLM Inference via Interleaved Ternary Quantization with Rotation-Domain Smoothing
- Title（参考訳）: ITQ3_S:回転領域平滑化を用いたインターリーブ3次量子化による高忠実3ビットLLM推論
- Abstract要約: 我々は,TurboQuant(TQ)を統合したLLMのための新しい3ビット重み量子化フォーマットであるITQ3_S(Interleaved Ternary Quantization -- Specialized)を提案する。
従来の3ビット法では、重み付き重み分布とチャネル間外周による精度の低下が見られた。
ITQ3_Sは、量子化の前にFWHTを介して重み空間を前回転させ、ベクトルにエネルギーを分散させ、ガウス近傍の分布を誘導する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present ITQ3_S (Interleaved Ternary Quantization -- Specialized), a novel 3-bit weight quantization format for LLMs integrating TurboQuant (TQ), a rotation-domain strategy based on the Fast Walsh-Hadamard Transform (FWHT). Conventional 3-bit methods suffer precision loss from heavy-tailed weight distributions and inter-channel outliers. ITQ3_S pre-rotates the weight space via FWHT before quantization, spreading outlier energy across the vector and inducing a near-Gaussian distribution amenable to uniform ternary coding. We derive a rigorous dequantization procedure fusing a 256-point Inverse FWHT into the CUDA shared-memory loading stage, ensuring reconstruction error is bounded exclusively by the ternary quantization grid with no additional error from the transform inversion. For any weight vector $\mathbf{w} \in \mathbb{R}^{256}$, the reconstruction satisfies $\|\hat{\mathbf{w}} - \mathbf{w}\|_2 \leq ε_q$, strictly smaller than uniform 3-bit baselines that do not exploit rotation-induced distribution normalization. TurboQuant lacks a native CUDA kernel, precluding direct deployment; naively composing TQ with existing weight quantizers introduces domain mismatch errors that accumulate across layers, degrading quality below standard 3-bit baselines. ITQ3_S resolves this by co-designing the FWHT rotation and quantization kernel as a unified pipeline grounded in the IQ3_S weight format, with the inverse transform fused into the CUDA MMQ kernel. Empirically, on the NVIDIA RTX 5090 (Blackwell), ITQ3_S achieves perplexity competitive with FP16 while delivering throughput exceeding 1.5x that of 4-bit alternatives via optimized DP4A and Tensor Core scheduling. Our results establish ITQ3_S as a practical, mathematically grounded solution for high-fidelity LLM deployment on consumer hardware.
- Abstract（参考訳）: 本稿では,FWHT(Fast Walsh-Hadamard Transform)に基づく回転領域戦略であるTurboQuant(TQ)を統合するLLMの新しい3ビット重み量子化フォーマットであるITQ3_S(Interleaved Ternary Quantization -- Specialized)を提案する。
従来の3ビット法では、重み付き重み分布とチャネル間外周による精度の低下が見られた。
ITQ3_Sは、量子化の前にFWHTを介して重み空間を前回転させ、ベクトルに外周エネルギーを分散させ、三次符号化に一様となる準ガウス分布を誘導する。
256点の逆FWHTをCUDA共有メモリローディングステージに組み込んだ厳密な量子化手順を導出し、変換反転から付加的な誤差を伴わない3次量子化グリッドのみに再構成誤差が拘束されることを保証する。
任意の重みベクトル $\mathbf{w} \in \mathbb{R}^{256}$ に対して、再構成は $\|\hat{\mathbf{w}} - \mathbf{w}\|_2 \leq ε_q$ を満たす。
TurboQuantにはネイティブのCUDAカーネルがなく、直接デプロイを控えている。既存の重み付け量化器でTQをネリシブに構成すると、レイヤ間で蓄積されるドメインミスマッチエラーが発生し、標準の3ビットベースラインよりも品質が低下する。
ITQ3_S は FWHT 回転および量子化カーネルを IQ3_S 重み形式に基づく統一パイプラインとして設計し、逆変換を CUDA MMQ カーネルに融合することでこれを解決する。
経験的に、NVIDIA RTX 5090 (Blackwell)では、ITQ3_SはFP16と競合し、最適化されたDP4AとTensor Coreスケジューリングによって、4ビット代替の1.5倍のスループットを提供する。
この結果から,ITQ3_S は,消費者向けハードウェア上での高忠実性 LLM 展開のための実用的,数学的基礎的なソリューションとして確立された。
関連論文リスト
- KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers [42.11461757540461]
拡散変圧器(DiT)からW4A4への後処理量子化は出力品質を著しく低下させる。
KroQuantは、学習されたKronecker構造を持つ可逆変換をアクティベーションの各32要素ブロックに適用するPTQ手法である。
論文 参考訳（メタデータ） (2026-07-23T15:52:20Z) - GRINQH: Graded Input-based Quantization Hierarchy for Efficient LLM Generation [6.515041755039866]
GRINQHは、量子化とスパーシフィケーションを統合することでデコーディングを加速する、重量のみのポストトレーニング量子化フレームワークである。
Llama3とQwen3モデルで評価すると、GRINQHは3ビットと4ビットの設定で最先端の固定精度と混合精度のベースラインを上回っている。
我々は、階層型ネストメモリレイアウトをカスタムGPUカーネルのマルチ精度ストレージに活用することにより、理論的スピードアップを実験的に検証する。
論文 参考訳（メタデータ） (2026-06-22T14:42:34Z) - HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models [0.0]
HyperQuantは、大きな言語と拡散トランスフォーマーの重みとKVキャッシュのための、トレーニング後の統一的な量子化パイプラインである。
最近のHIGGS方式は、重量でスカラー(bps)あたり3ビットから5ビットに上回り、KV量子化でTurboQuantとOCTOPUSを1.7bpsに上回ります。
線形重み 3.9x と KV キャッシュ 3.79x をほぼロスレス品質で圧縮する。
論文 参考訳（メタデータ） (2026-06-22T14:30:47Z) - BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳（メタデータ） (2026-04-05T04:25:07Z) - BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。
BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文 参考訳（メタデータ） (2026-02-04T02:54:37Z) - Tail-Aware Post-Training Quantization for 3D Geometry Models [58.79500829118265]
ポストトレーニング量子化(PTQ)は、再トレーニングなしに効率的な推論を可能にする。
PTQは複雑な特徴分布と禁止キャリブレーションオーバーヘッドのために、3Dモデルに効果的に転送できない。
3次元幾何学学習のためのTail-Aware Post-Training Quantization PipelineであるTAPTQを提案する。
論文 参考訳（メタデータ） (2026-02-02T07:21:15Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - Quantized Visual Geometry Grounded Transformer [67.15451442018258]
本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。
球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。
また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
論文 参考訳（メタデータ） (2025-09-25T15:17:11Z) - FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。
本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。
LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
論文 参考訳（メタデータ） (2024-10-12T08:10:28Z) - Non-parametric Greedy Optimization of Parametric Quantum Circuits [2.77390041716769]
本研究の目的は、パラメトリックゲートを近似的に固定された非パラメトリック表現に置き換えることで、PQCの深さとゲート数を削減することである。
約14%の深さ減少と48%のゲート数減少を3.33%の精度で観測した。
論文 参考訳（メタデータ） (2024-01-27T15:29:38Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳（メタデータ） (2023-06-13T08:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。