Fugu-MT 論文翻訳(概要): SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference

論文の概要: SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference

arxiv url: http://arxiv.org/abs/2606.26587v1
Date: Thu, 25 Jun 2026 04:19:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-26 18:46:32.15656
Title: SharQ: Bridging Activation Sparsity and FP4 Quantization for LLM Inference
Title（参考訳）: SharQ: LLM推論における活性化空間のブリッジ化とFP4量子化
Abstract要約: SharQは、オンラインスパース-デンス分解による活性化空間とFP4量子化を橋渡しする。スパースFP4 GEMMはバックボーンを処理し、密度の高いFP4 GEMMはマスク誘起活性化損失とスパースパス量子化誤差の両方を補償する。
参考スコア（独自算出の注目度）: 4.219937026460372
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-bit floating-point formats and semi-structured sparsity are increasingly supported by modern accelerators, yet combining them for LLM activation compression remains challenging: activations contain input-dependent outliers that dominate block scales in FP4 quantization, and directly applying N:M sparsity masks discards moderate values, coupling sparsification loss with quantization error. We introduce SharQ, a training-free inference method that bridges activation sparsity and FP4 quantization through an online sparse--dense decomposition. For each activation tensor, SharQ generates an input-adaptive N:M mask to extract an outlier-dominated sparse backbone, quantizes it to FP4, and defines a dense residual relative to the quantized sparse backbone rather than the unquantized sparse values. A sparse FP4 GEMM processes the backbone while a dense FP4 GEMM compensates for both mask-induced activation loss and sparse-path quantization error. The two paths share a single FP4 weight payload with path-specific scale views, and a fused preparation kernel absorbs mask generation, residual construction, and layer normalization into one operator. SharQ requires no calibration data, retraining, or model-specific tuning. Evaluated on Llama-3.1-8B, Qwen2.5-7B, Qwen3-30B-A3B, and Qwen3-VL-8B, SharQ recovers 43--63% of the NVFP4-to-FP16 accuracy gap across language and vision-language tasks, and generalizes across NVFP4, HiF4, and MXFP4 formats. On an RTX 5090, SharQ delivers 2.2--2.4$\times$ latency reduction over FP16 and 1.2--1.4$\times$ throughput improvement over FP8 in language model serving, and up to 1.58$\times$ speedup on Wan2.2-T2V-A14B video generation when combined with SageAttention. Our code is available at https://github.com/actypedef/SharQ.
Abstract（参考訳）: 低ビット浮動小数点法と半構造小数点法が現代の加速器によってますます支持されているが、LLMのアクティベーション圧縮に組み合わせることは困難であり、活性化にはFP4量子化におけるブロックスケールを支配する入力依存のアウトレーヤが含まれており、N:M空間マスクを直接適用することで中程度の値を捨て、スパーシフィケーション損失と量子化誤差を結合する。 SharQは、オンラインスパース分解によるアクティベーション空間とFP4量子化をブリッジする、トレーニング不要な推論手法である。各アクティベーションテンソルに対して、SharQは入力適応的なN:Mマスクを生成して、アウタリエが支配するスパースバックボーンを抽出し、それをFP4に量子化し、未定量スパース値ではなく、量子化されたスパースバックボーンに対する密度相対性を定義する。スパースFP4 GEMMはバックボーンを処理し、密度の高いFP4 GEMMはマスク誘起活性化損失とスパースパス量子化誤差の両方を補償する。 2つの経路は、1つのFP4重量ペイロードとパス固有のスケールビューを共有し、融合した準備カーネルはマスク生成、残留構造、層正規化を1つの演算子に吸収する。 SharQはキャリブレーションデータ、リトレーニング、モデル固有のチューニングを必要としない。 Llama-3.1-8B、Qwen2.5-7B、Qwen3-30B-A3B、Qwen3-VL-8Bに基づいて評価され、SharQは言語および視覚言語タスク間でのNVFP4-to-FP16の精度ギャップの43-63%を回復し、NVFP4、HiF4、MXFP4フォーマットをまたいで一般化する。 RTX 5090では、SharQは2.2-2.4$\times$FP16と1.2-1.4$\times$FP8よりもスループットが向上し、SageAttentionと組み合わせてWan2.2-T2V-A14Bのビデオ生成を最大1.58$\times$スピードアップする。私たちのコードはhttps://github.com/actypedef/SharQ.comで公開されています。

関連論文リスト

Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM [0.0]
ミニマ: NVFP4 W4A4は、GDNを含む496のリニア層である。 NVFP4の16要素ブロックのスケーリングが残ストリームの極端な外れ値の局所化の原因を説明する4つのメカニズムの研究がある。ハイブリッド LLM の繰り返し半分が量子化し易い理由に関する力学的な説明。
論文参考訳（メタデータ） (2026-09-03T17:04:26Z)
OCGQuant: Outlier-Companion Grouping for NVFP4 Quantization [24.00034777837764]
Outlier-Companion Grouping (OCG) は、NVFP4アクティベーションブロック構成を改善するために、低マグニチュードのコンパニオンチャネルと外部チャネルを適応的にペアリングする。 OCGQuantは、評価されたPTQ手法の中で、WikiText-2の難易度が最も低く、下流の平均精度が高い。
論文参考訳（メタデータ） (2026-08-30T16:00:11Z)
TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization [13.984796236174331]
トレーニング不要なポストトライニング量子化フレームワークとしてTORQ (Two-level Orthogonal Rotation for MXFP4 Quantization)を提案する。既存の手法と比較して, TORQはMXFP4の活性化量子化の精度を著しく向上させることを示した。
論文参考訳（メタデータ） (2026-05-19T09:05:47Z)
DuQuant++: Fine-grained Rotation Enhances Microscaling FP4 Quantization [47.19478866645546]
そこで我々は,DuQuantをMXFP4フォーマットに適応させるDuQuant++を提案する。 MXFP4 W4A4量子化の下でのLLaMA-3ファミリーの実験は、DuQuant++が一貫して最先端のパフォーマンスを実現していることを示している。
論文参考訳（メタデータ） (2026-04-20T04:27:28Z)
BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文参考訳（メタデータ） (2026-02-04T02:54:37Z)
ARCQuant: Boosting NVFP4 Quantization with Augmented Residual Channels for LLMs [4.431548809730958]
ARCQuantは、Augmented Residual Channelsを通じてNVFP4パフォーマンスを向上させるフレームワークである。 ARCQuantは、複雑なタスクや下流タスクにおいて、完全精度のベースラインに匹敵する、最先端の精度を実現する。
論文参考訳（メタデータ） (2026-01-12T12:27:22Z)
HAS-VQ: Hessian-Adaptive Sparse Vector Quantization for High-Fidelity LLM Compression [0.0]
HAS-VQ (Hessian-Adaptive Sparse Vec-tor Quantization) は,高感度のアウトレーヤをバルク重量分布から厳密に分離する圧縮フレームワークである。我々は, SmolLM2-1.7B上のHAS-VQを評価し, 2つの異なる優越性を証明した。
論文参考訳（メタデータ） (2026-01-11T15:35:10Z)
Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
論文参考訳（メタデータ） (2025-09-27T09:22:21Z)
SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
論文参考訳（メタデータ） (2024-11-07T18:59:58Z)
CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文参考訳（メタデータ） (2023-12-13T07:56:27Z)
LLM-FP4: 4-Bit Floating-Point Quantized Transformers [38.23587031169402]
大規模言語モデル(LLM)における重みとアクティベーションを4ビット浮動小数点値まで定量化するLLM-FP4を提案する。整数量子化と比較すると、浮動小数点(FP)量子化はより柔軟であり、長い尾や鐘のような分布を扱うことができる。 LLaMA-13Bの重みとアクティベーションの両方を4ビットに定量化し,平均スコア63.1を得る。
論文参考訳（メタデータ） (2023-10-25T17:59:32Z)
QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
論文参考訳（メタデータ） (2023-10-13T17:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。