論文の概要: CubicQuant: Parametric Non-Uniform Codebooks for High-Throughput LLM Inference with 1-8-Bit Weights

• arxiv url: http://arxiv.org/abs/2608.06763v1
• Date: Fri, 07 Aug 2026 03:36:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.339775
• Title: CubicQuant: Parametric Non-Uniform Codebooks for High-Throughput LLM Inference with 1-8-Bit Weights
• Title（参考訳）: CubicQuant: 1-8ビット重み付き高速LCM推論用パラメトリック非均一コードブック
• Abstract要約: 大規模言語モデル推論のための非一様パラメトリックな非一様スカラー形式であるCuubicQuantを紹介する。 我々は、Uniform, Gaussian, Laplace分布下での個体群歪みを導出し、連続および動的A8キャリヤ対応の目的を定式化し、直接充填重量GPUの実行を記述する。 プリミティブなH200カーネル測定は、ワークロード依存のクロスオーバーを示している: モデル-dtype実行は、狭いGEMVで高速であるのに対して、動的A8は、行数が増えるにつれて好まれる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight quantization for large-language-model inference must balance adaptive reconstruction levels with representations regular enough for efficient GPU execution. Uniform integers constrain each group to a linear grid. Low-bit floating-point formats use a fixed exponent-mantissa structure, while learned codebooks gain flexibility at the cost of irregular decoding and additional metadata. We introduce CubicQuant, a parametric non-uniform scalar format that preserves a dense integer code stream while adapting reconstruction levels within each weight group. A monotonic cubic curve, specified by two shape parameters and one scale, maps uniformly spaced magnitude codes to non-uniform levels. The family spans 1-8-bit weight payloads, contains symmetric uniform integer quantization as an exact special case, and has effective width B + 64/G bits per weight for payload width B and group size G. We derive population distortion under Uniform, Gaussian, and Laplace distributions, formulate continuous and Dynamic-A8-carrier-aware fitting objectives, and describe direct packed-weight GPU execution. For finite groups of G=128 with 15,360 samples per distribution, W4 CubicQuant reduced reconstruction RMSE relative to optimally clipped four-bit uniform integer quantization by 3.90% on Uniform, 13.49% on Gaussian, and 28.14% on Laplace samples. Relative to the best enumerated four-bit finite floating-point format, the reductions were 3.90%, 9.44%, and 6.27%. Preliminary H200 kernel measurements show a workload-dependent crossover: model-dtype execution is faster for narrow GEMV, while Dynamic A8 becomes favorable as row count grows. The results establish the format's representational promise and direct executability; downstream model quality and cross-device end-to-end performance remain open evaluation questions.
• Abstract（参考訳）: 大規模言語モデル推論の重み量子化は、適応的再構成レベルと効率的なGPU実行に十分な正規表現とのバランスをとる必要がある。 一様整数は各群を線形格子に制約する。 低ビット浮動小数点のフォーマットは固定指数行列構造を使い、学習されたコードブックは不規則な復号化とメタデータの追加のコストで柔軟性を得る。 重み群内の再構成レベルを調整しながら、高密度な整数コードストリームを保存するパラメトリックな非一様スカラーフォーマットであるCuubicQuantを導入する。 2つの形状パラメータと1つのスケールで指定された単調立方体曲線は、一様間隔の符号を非一様レベルにマッピングする。 このファミリーは1-8ビットの重みペイロードにまたがり、対称一様整数量子化を正確に特別なケースとして含み、ペイロード幅BとグループサイズGに対して有効幅B + 64/Gビットを有する。 分布当たり15,360のサンプルを持つG=128の有限群に対して、W4 CubicQuantは、最適に切断された4ビットの均一整数量子化に対する再構成RMSEを、Uniformでは3.90%、Gausianでは13.49%、Laplaceでは28.14%削減した。 最上位の4ビット有限浮動小数点数に対して、減少率は3.90%、9.44%、および6.27%であった。 プリミティブなH200カーネル測定は、ワークロード依存のクロスオーバーを示している: モデル-dtype実行は、狭いGEMVで高速であるのに対して、動的A8は、行数が増えるにつれて好まれる。 その結果、フォーマットの表現可能性と直接実行可能性を確立し、ダウンストリームモデルの品質とデバイス間のエンドツーエンドのパフォーマンスはオープンな評価問題のままである。

関連論文リスト

• Solve for the Hyperparameter, Skip the Search: Kolmogorov-Optimal Scaling Laws for Spline Regression [0.0]
  クローズドな形での最適解法は、徹底的な探索が到達した精度を計算のごく一部で解くことができる。 KOREは2つのパイロット解像度に適合し、バイアスとノイズスケールのレバレッジ校正された2x2システムを解く。
  論文  参考訳（メタデータ） (2026-06-22T16:41:10Z)
• HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models [0.0]
  HyperQuantは、大きな言語と拡散トランスフォーマーの重みとKVキャッシュのための、トレーニング後の統一的な量子化パイプラインである。 最近のHIGGS方式は、重量でスカラー(bps)あたり3ビットから5ビットに上回り、KV量子化でTurboQuantとOCTOPUSを1.7bpsに上回ります。 線形重み 3.9x と KV キャッシュ 3.79x をほぼロスレス品質で圧縮する。
  論文  参考訳（メタデータ） (2026-06-22T14:30:47Z)
• ITQ3_S: High-Fidelity 3-bit LLM Inference via Interleaved Ternary Quantization with Rotation-Domain Smoothing [0.0]
  我々は,TurboQuant(TQ)を統合したLLMのための新しい3ビット重み量子化フォーマットであるITQ3_S(Interleaved Ternary Quantization -- Specialized)を提案する。 従来の3ビット法では、重み付き重み分布とチャネル間外周による精度の低下が見られた。 ITQ3_Sは、量子化の前にFWHTを介して重み空間を前回転させ、ベクトルにエネルギーを分散させ、ガウス近傍の分布を誘導する。
  論文  参考訳（メタデータ） (2026-03-30T00:03:22Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Binary Quantization For LLMs Through Dynamic Grouping [13.578307208515819]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクで顕著なパフォーマンスを示している。 16ビットのBrain Floatから-1,1の1ビットの表現にモデル重みを圧縮するバイナリ量子化は、ストレージと推論コストを大幅に削減する。 本稿では,2値量子化に適した新しい最適化目標と,これを効果的に実現するための3つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-03T06:36:21Z)
• "Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization [67.3213104337679]
  量子化は大規模言語モデル(LLM)推論を高速化するための強力なツールであるが、異なるフォーマット間での精度と性能のトレードオフは依然として不明である。 FP8,INT8,INT4の量子化を学術ベンチマークや実世界のタスクで評価し,これまでで最も包括的な実証的研究を行った。
  論文  参考訳（メタデータ） (2024-11-04T18:21:59Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)
• 8-bit Optimizers via Block-wise Quantization [57.25800395197516]
  ステートフルズは、例えば過去の値の指数的滑らかな和(運動量付きSGD)や2乗和(アダム)など、時間の経過とともに統計を維持している。 この状態は、通常の勾配降下よりも最適化を加速するために使用することができるが、そうでなければモデルパラメータに割り当てられる可能性のあるメモリを使用する。 本稿では,32ビットの勾配状態を用いた場合の性能レベルを維持しながら,8ビット統計を用いた第1次勾配法を開発する。
  論文  参考訳（メタデータ） (2021-10-06T15:43:20Z)
• Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
  与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。 標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。 本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
  論文  参考訳（メタデータ） (2020-04-15T20:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。