Fugu-MT 論文翻訳(概要): BiLoCo: Binary Low-Rank Corrections for Post-Training Quantization

論文の概要: BiLoCo: Binary Low-Rank Corrections for Post-Training Quantization

arxiv url: http://arxiv.org/abs/2610.32243v1
Date: Fri, 23 Oct 2026 06:51:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 01:38:06.413611
Title: BiLoCo: Binary Low-Rank Corrections for Post-Training Quantization
Title（参考訳）: BiLoCo:ポストトレーニング量子化のためのバイナリ低ランク補正
Abstract要約: 学習後量子化(PTQ)からFP4への変換は、大規模な言語モデル推論コストを削減する重要な手法として登場した。 SVDQuantの最近の研究は、FP4量子化による拡散モデルの誤差を、高精度な低ランク補正を加えることによって軽減している。
参考スコア（独自算出の注目度）: 35.33592436064474
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Post-training quantization (PTQ) to FP4 has emerged as a key technique for reducing large language model inference cost, especially on Blackwell GPUs, which offer native FP4 tensor core support. Direct PTQ to FP4, however, still leaves a noticeable accuracy gap. Recent work on SVDQuant mitigates the errors introduced through FP4 quantization for diffusion models by adding high-precision low-rank corrections obtained via SVD. However, this high-precision low-rank correction requires many bits per rank, and it runs on the same tensor cores as the main FP4 GEMM. We introduce BiLoCo, a low-rank correction method whose left and right factors are stored as binary ${\{\pm 1\}}$ sign vectors rather than as BF16 numbers. The signed format uses $16{\times}$ less storage per rank-one component, and since the correction now consists of additions/subtractions, this can be run on CUDA cores concurrently with the FP4 tensor-core GEMM. On 4B--72B LLMs, BiLoCo matches or improves memory-matched SVDQuant for PTQ. We implement BiLoCo on B300 as a fused single kernel, where the FP4 GEMM runs on tensor cores, the bit-packed correction on the CUDA cores of the same launch, and the two are combined in the GEMM epilogue. With batch size $1$, the fused kernel is at most $11\%$ slower than the FP4-only GEMM for every rank up to $512$. At rank $128$, it is at most $20\%$ slower up to batch size $8$.
Abstract（参考訳）: トレーニング後の量子化(PTQ)からFP4への変換は、特にネイティブなFP4テンソルコアサポートを提供するBlackwell GPUにおいて、大規模な言語モデル推論コストを削減する重要なテクニックとして登場した。しかし、FP4への直接PTQは、依然として顕著な精度の差を残している。 SVDQuantの最近の研究は、FP4量子化による拡散モデルの誤差を軽減し、SVDによって得られた高精度な低ランク補正を追加する。しかし、この高精度な低ランク補正はランクごとに多くのビットを必要とし、メインのFP4 GEMMと同じテンソルコア上で動作する。本稿では,BF16数値ではなく,左右の因子を2進${\pm 1\}}$符号ベクトルとして格納する低ランク補正法であるBiLoCoを紹介する。署名されたフォーマットは、ランク1コンポーネントあたり16ドル(約1,600円)のストレージを削減しており、修正は加算/減算で構成されているため、FP4テンソルコアGEMMと同時にCUDAコア上で実行できる。 4B--72B LLMでは、BiLoCoはPTQ用のメモリマッチングSVDQuantにマッチするか改善する。 FP4 GEMMがテンソルコア上で動作し、同じ打ち上げ時のCUDAコア上でビットパックされた補正が行われ、その2つはGEMMエピローグで結合される。バッチサイズが1ドルで、融合カーネルはFP4のみのGEMMよりも少なくとも11\%遅い。ランクは128ドル(約1万2000円)、最高20ドル(約2万2000円)、バッチサイズは8ドル(約8万5000円)。

論文の概要: BiLoCo: Binary Low-Rank Corrections for Post-Training Quantization

関連論文リスト