論文の概要: ITQ3_S: High-Fidelity 3-bit LLM Inference via Interleaved Ternary Quantization with Rotation-Domain Smoothing

• arxiv url: http://arxiv.org/abs/2603.27914v1
• Date: Mon, 30 Mar 2026 00:03:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.1761
• Title: ITQ3_S: High-Fidelity 3-bit LLM Inference via Interleaved Ternary Quantization with Rotation-Domain Smoothing
• Title（参考訳）: ITQ3_S:回転領域平滑化を用いたインターリーブ3次量子化による高忠実3ビットLLM推論
• Authors: Edward J. Yoon,
• Abstract要約: 大規模言語モデル(LLM)のための新しい3ビット重み量子化フォーマットである textbfITQ3_S (Interleaved Ternary Quantization -- Specialized) を提案する。 この結果から,ITQ3_Sは,コンシューマグレードハードウェア上での高忠実性LCM展開のための実用的,数学的基礎的なソリューションとして確立された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present \textbf{ITQ3\_S} (Interleaved Ternary Quantization -- Specialized), a novel 3-bit weight quantization format for large language models (LLMs) that integrates \textbf{TurboQuant (TQ)}, a rotation-domain adaptive quantization strategy based on the Fast Walsh-Hadamard Transform (FWHT). Conventional 3-bit quantization methods suffer from catastrophic precision loss caused by heavy-tailed weight distributions and inter-channel outliers. ITQ3\_S addresses this fundamental limitation by pre-rotating the weight space via FWHT prior to quantization, effectively spreading outlier energy across the entire vector and inducing a near-Gaussian distribution amenable to uniform ternary coding. Critically, we derive a mathematically rigorous dequantization procedure that inverts the FWHT exactly using a 256-point Inverse Walsh-Hadamard Transform fused into the CUDA shared-memory loading stage, ensuring zero-error round-trip fidelity between offline quantization and online inference. We prove that for any weight vector $\mathbf{w} \in \mathbb{R}^{256}$ processed by our pipeline, the reconstruction satisfies $\|\hat{\mathbf{w}} - \mathbf{w}\|_2 \leq ε_q$, where $ε_q$ is determined solely by the ternary quantization grid and is strictly smaller than any uniform 3-bit baseline under equal bit-budget constraints. Empirically, on the NVIDIA RTX 5090 (Blackwell architecture), ITQ3\_S achieves perplexity competitive with FP16 baselines while delivering throughput exceeding 1.5$\times$ that of 4-bit alternatives, owing to optimized DP4A and Tensor Core scheduling in the interleaved memory layout. Our results establish ITQ3\_S as a practical, mathematically grounded solution for high-fidelity LLM deployment on consumer-grade hardware.
• Abstract（参考訳）: 本稿では,FWHT(Fast Walsh-Hadamard Transform)に基づく回転領域適応量子化戦略である \textbf{ITQ3\_S} (Interleaved Ternary Quantization -- Specialized) について述べる。 従来の3ビット量子化法では、重み付き重み分布とチャネル間外乱によって引き起こされる破滅的な精度の損失に悩まされる。 ITQ3\_S は量子化に先立って重み空間を FWHT で前回転させ、ベクトル全体にわたってアウトリーエネルギを効果的に分散させ、一様三次符号化が可能な準ガウス分布を誘導することによって、この基本的な制限に対処する。 FWHTを256点の逆ウォルシュ・アダマール変換で正確に逆転し、CUDAの共有メモリロードステージに融合し、オフライン量子化とオンライン推論のゼロエラーラウンドトリップの完全性を保証する数学的に厳密な量子化手順を導出する。 任意の重みベクトル $\mathbf{w} \in \mathbb{R}^{256}$ がパイプラインによって処理された場合、再構成は$\|\hat{\mathbf{w}} - \mathbf{w}\|_2 \leq ε_q$ を満たす。 経験的に、NVIDIA RTX 5090(Blackwellアーキテクチャ)では、ITQ3\_SはFP16ベースラインと競合するパープレキシティを実現し、スループットは1.5$\times$4ビットの代替として最適化されたDP4AとTensor Coreをインターリーブドメモリレイアウトでスケジューリングする。 この結果から,ITQ3\_S は,消費者向けハードウェア上での高忠実性 LLM 展開のための実用的,数学的基礎的なソリューションとして確立された。

関連論文リスト

• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。