論文の概要: KBBQ: A Predictive Noise Law and the Limits of Spectrum Flattening in FP4 Quantization

• arxiv url: http://arxiv.org/abs/2609.08135v1
• Date: Tue, 08 Sep 2026 02:12:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.552215
• Title: KBBQ: A Predictive Noise Law and the Limits of Spectrum Flattening in FP4 Quantization
• Title（参考訳）: KBBQ:FP4量子化における予測ノイズ法とスペクトルフラット化の限界
• Abstract要約: 行列乗算における量子化雑音の2次理論を開発する。 整数量子化の定数分散プロファイルは、既存の整数ノイズ理論を復元する。 KBBQ(textbfKappa-textbfBraked textbfBlockwise textbfQuantization)を導入する。
• 参考スコア（独自算出の注目度）: 3.205247598097648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a second-order theory of quantization noise in matrix multiplication in which the quantization format is characterized by the variance it assigns to each element. The constant variance profile of integer quantization recovers existing integer-noise theory, while the multiplicative profile of floating-point rounding reduces the data dependence to a scalar, the participation factor $κ$, yielding a closed-form signal-to-noise-ratio law. The resulting functional also admits a closed-form upper bound $κ^{*}$ that no function-preserving linear transform can exceed and that is attained by a recent state-of-the-art method. Building on this analysis, we introduce KBBQ (\textbf{K}appa-\textbf{B}raked \textbf{B}lockwise \textbf{Q}uantization), which parameterizes the extent to which a transform approaches this ceiling. At W4A4, across four base models and two FP4 formats, KBBQ outperforms the prior state of the art without additional deployment-time computation.
• Abstract（参考訳）: 本研究では,行列乗法における量子化雑音の2次理論を開発し,各要素に割り当てる分散によって量子化形式を特徴付ける。 整数量子化の定数分散プロファイルは、既存の整数ノイズ理論を回復する一方、浮動小数点ラウンドリングの乗法プロファイルはスカラーへのデータ依存を減少させる。 結果として得られる函数は、函数保存線形変換が超えず、最新の最先端法によって達成されるような閉形式上界 $κ^{*}$ も持つ。 この分析に基づいて、変換がこの天井に近づく範囲をパラメータ化する KBBQ (\textbf{K}appa-\textbf{B}raked \textbf{B}lockwise \textbf{Q}uantization) を導入する。 W4A4では、4つのベースモデルと2つのFP4フォーマットにまたがって、KBBQは、追加のデプロイ時間計算なしで以前の最先端よりもパフォーマンスが優れている。

関連論文リスト

• Structured Transforms for Low-Overhead Quantization of Language Models [43.017319901277354]
  我々は,大規模な言語モデルに対する加振分解に基づく重み量子化について再検討し,改良されたアルゴリズムを提案する。 更新を交互に行うグリーディアルゴリズムは,各因子の安定な2ビットクラスタリングに必要な4ピーク分布を保証する。 JAXパイプラインは、OPTQ、QuIP、QuIP-RG、微調整およびベクトル量子化なしのQuIP#と競合し、OPT、Llama-2、Pythiaの4ビットのチャネルで競合する。
  論文  参考訳（メタデータ） (2026-09-10T15:15:50Z)
• SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference [4.219937026460372]
  SharQは、オンラインスパース-デンス分解による活性化空間とFP4量子化を橋渡しする。 スパースFP4 GEMMはバックボーンを処理し、密度の高いFP4 GEMMはマスク誘起活性化損失とスパースパス量子化誤差の両方を補償する。
  論文  参考訳（メタデータ） (2026-06-25T04:19:04Z)
• Normalized Architectures are Natively 4-Bit [49.13186675123547]
  重みと隠れ表現を単位超球面に制限するアーキテクチャであるnGPTは、本質的に低精度算術よりも堅牢である。 本手法は,最大3B/30Bパラメータの1.2B密度モデルとハイブリッド(Mamba-Transformer)MoEモデルの両方で検証する。
  論文  参考訳（メタデータ） (2026-05-07T11:54:07Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• Special-Unitary Parameterization for Trainable Variational Quantum Circuits [7.2687813325879045]
  SUN-VQC は、基本層が対称性制限されたリー部分群の単指数である変分回路アーキテクチャである。 本研究では, SUN-VQC が2--3$times$で収束し, 深度整合パウリ回路よりも高い最終忠実度に達することを示す。
  論文  参考訳（メタデータ） (2025-07-07T23:21:02Z)
• Pioneering 4-Bit FP Quantization for Diffusion Models: Mixup-Sign Quantization and Timestep-Aware Fine-Tuning [14.145862114439831]
  モデル量子化はウェイトとアクティベーションのビット幅を減らし、メモリ効率と推論速度を改善する。 既存の方法は、主に整数量子化と後学習量子化の微調整に基づいており、矛盾しない性能に悩まされている。 本稿では、まずモデル量子化に符号なしFP量子化を導入し、時間ステップ対応のLoRAとデノナイジング・ファクター損失アライメントを併用する混合符号浮動小数点量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-27T13:40:47Z)
• Improving Block-Wise LLM Quantization by 4-bit Block-Wise Optimal Float (BOF4): Analysis and Variations [22.127873567034825]
  大規模言語モデル(LLM)は、微調整と推論の両方で広範なメモリ容量を必要とする。 既存の手法では、NF4やAF4といったブロックワイド量子化技術がネットワーク重みに適用されている。 これらの量子化手法が最適以下の量子化誤差を引き起こすことを示す。
  論文  参考訳（メタデータ） (2025-05-10T14:00:15Z)
• ResQ: Mixed-Precision Quantization of Large Language Models with Low-Rank Residuals [10.860081994662645]
  大規模言語モデル(LLM)の学習後の量子化は、推論時の計算コストを抑えるという約束を果たす。 本稿では,最先端技術をさらに推し進めるPTQ手法であるResQを提案する。 ResQは、様々なベンチマークにおいて、最近の一様および混合精度のPTQ法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-18T22:01:55Z)
• PTQ4DiT: Post-training Quantization for Diffusion Transformers [52.902071948957186]
  ポストトレーニング量子化(PTQ)は、計算とメモリフットプリントを大幅に削減できる高速でデータ効率のソリューションとして登場した。 提案するPTQ4DiTは,DiTのための特別に設計されたPTQ手法である。 PTQ4DiTは8ビットの精度でDiTの量子化に成功した。
  論文  参考訳（メタデータ） (2024-05-25T02:02:08Z)
• CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
  ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
  論文  参考訳（メタデータ） (2023-12-13T07:56:27Z)
• Exponentially Weighted l_2 Regularization Strategy in Constructing Reinforced Second-order Fuzzy Rule-based Model [72.57056258027336]
  従来の高木スゲノカン(TSK)型ファジィモデルでは、定数あるいは線形関数がファジィ規則の連続部分として使用されるのが普通である。 調和解析で遭遇する重み関数理論にインスパイアされた指数重みアプローチを導入する。
  論文  参考訳（メタデータ） (2020-07-02T15:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。