論文の概要: High-Rate Quantized Matrix Multiplication II

• arxiv url: http://arxiv.org/abs/2605.13768v1
• Date: Wed, 13 May 2026 16:47:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.188014
• Title: High-Rate Quantized Matrix Multiplication II
• Title（参考訳）: 高レート量子化行列乗算II
• Authors: Or Ordentlich, Yury Polyanskiy,
• Abstract要約: 我々は, 実用的なLCM量子化アルゴリズム(GPTQ)を改良するために, 給水をどのように利用できるかを示す。 スカラーINT量子化器のみを使用する最近のスキーム(WaterSIC')を解析し、そのハイレート性能をベースフリー(つまり、$_X$の行列式を特徴とする)として示す。
• 参考スコア（独自算出の注目度）: 29.75700570685703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This is the second part of the work investigating quantized matrix multiplication (MatMul). In part I we considered the case of calibration-free quantization, whereas here we discuss the setting where covariance matrix $Σ_X$ of the columns of the second factor is available. This setting arises in the ubiquitous task of weight-only post-training quantization of LLMs. Weight-only quantization is related to the problem of weighted mean squared error (WMSE) source coding, whose classical (reverse) waterfilling solution dictates how one should distribute rate between coordinates of the vector. We show how waterfilling can be used to improve practical LLM quantization algorithms (GPTQ), which at present allocate rate equally. A recent scheme (known as ``WaterSIC'') that only uses scalar INT quantizers is analyzed and its high-rate performance is shown to be (a) basis free (i.e., characterized by the determinant of $Σ_X$ and, thus, unlike existing schemes, is immune to applying random rotations); and (b) within a multiplicative factor of $\frac{2πe}{12}$ (or 0.25 bit/entry) of the information-theoretic distortion limit. GPTQ's performance, in turn, is affected by the choice of basis, but for a random rotation and actual $Σ_X$ from Llama-3-8B we find it to be within 0.1 bit (depending on the layer type) of WaterSIC, suggesting that GPTQ with random rotation is also near optimal, at least in the high-rate regime.
• Abstract（参考訳）: これは量子化行列乗法(MatMul)の研究の第2部である。 部分 I では、キャリブレーションのない量子化の場合を検討したが、ここでは、第2因子の列の共分散行列 $Σ_X$ が利用できる設定について論じる。 この設定は、LLMの軽量化後量子化のユビキタスなタスクで生じる。 重み付き平均二乗誤差(WMSE)の音源符号化の問題は、古典的な(逆)給水法でベクトルの座標間での速度の分配を規定している。 本稿では,現在等しく割り当てられている実用的なLCM量子化アルゴリズム (GPTQ) を改良するために,給水をどのように利用できるかを示す。 スカラーINT量子化器のみを使用する最近のスキーム(`WaterSIC'')を解析し、そのハイレート性能を示す。 (a)基底自由(すなわち$Σ_X$の行列式によって特徴づけられ、従って既存のスキームとは異なり、ランダムな回転を適用することに免疫がある) (b) 情報理論の歪み極限の$\frac{2πe}{12}$(または 0.25 bit/entry)の乗法係数内にある。 しかし、Llama-3-8B のランダム回転と実際の $Σ_X$ に対して、GPTQ は WaterSIC の0.1 ビット以内(層型に依存している)であることが判明し、少なくとも高次状態においては、ランダム回転を持つ GPTQ も最適に近いことが示唆された。

関連論文リスト

• WaterSIC: information-theoretically (near) optimal linear layer quantization [24.236435814099707]
  一般的なGPTQアルゴリズムは、ITの限界に対して任意に大きなギャップがあることが示されている。 WaterSIC'と呼ばれる新しいアルゴリズムが提案され、ITの限界まで0.255ビットのレートギャップ内にあることが示されている。
  論文  参考訳（メタデータ） (2026-03-05T08:50:58Z)
• High-Rate Quantized Matrix Multiplication: Theory and Practice [29.75700570685703]
  本研究では,量子化行列乗法(MatMul)の問題点について検討する。 1) 両行列を量子化(重+量子化)しなければならないジェネリック・マトマルと,2) 第二行列が共分散行列$_X$でのみ知られている重みのみの量子化である。
  論文  参考訳（メタデータ） (2026-01-23T21:32:44Z)
• SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights [8.95245917088986]
  訓練後の量子化は、大規模言語モデルを低精度で展開するための最も広く使われている戦略として現れてきた。 現在の手法では、ビット幅が4以下でパープレキシティ劣化を示す。 本稿では,2軸スケール係数と高速シンクホーン-ノック方式のアルゴリズムにより,既存の学習後量子化器を増強するSINQを紹介する。
  論文  参考訳（メタデータ） (2025-09-26T21:22:54Z)
• Matrix encoding method in variational quantum singular value decomposition [49.494595696663524]
  検討した$Ntimes N$行列の要素を適切な次元の量子系の状態に符号化した変分量子特異値分解を提案する。 制御された測定は、アンシラ測定の小さな成功を避けるために行われる。
  論文  参考訳（メタデータ） (2025-03-19T07:01:38Z)
• PTQ1.61: Push the Real Limit of Extremely Low-Bit Post-Training Quantization Methods for Large Language Models [64.84734437930362]
  大規模言語モデル(LLM)は、非常に低ビット(2ビット未満)の量子化に直面した場合、性能が著しく低下する。 我々はPTQ1.61と呼ばれる極低ビットのPTQ法を提案し、これによって初めて1.61ビットの重み量子化が可能となる。 実験により、PTQ1.61は極低ビット量子化において最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-18T08:04:58Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。