論文の概要: MXCode: Vector Quantization for MX-Native Inference at Scale

• arxiv url: http://arxiv.org/abs/2611.00403v1
• Date: Fri, 30 Oct 2026 21:48:10 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:22:20.480699
• Title: MXCode: Vector Quantization for MX-Native Inference at Scale
• Title（参考訳）: MXCode: MX-Native推論のためのベクトル量子化
• Abstract要約: MXCode(MX-Native Codebook Quantization)は,マイクロXcaling(MX)ネイティブFP4計算で超低ビットVQ圧縮をブリッジするフレームワークである。 MXCodeは、競争力があり、ワークロードに依存したモデル品質で、1ウェイトあたり約2ビットを達成する。
• 参考スコア（独自算出の注目度）: 3.856272623264605
• License:
• Abstract: Memory capacity and bandwidth are major bottlenecks in LLM inference, motivating weight compression beyond conventional 4-bit quantization. Vector quantization (VQ) enables approximately 2-bit weight storage but often relies on codebooks incompatible with native FP4 computation. We introduce MXCode (MX-Native Codebook Quantization), a framework bridging ultra-low-bit VQ compression with MicroXcaling (MX)-native FP4 computation. MXCode proposes three strategies: PostScale, which quantizes learned codebooks to MXFP4; PreScale, which extracts MX scales before codebook learning; and PreScale+, which further compresses these scales using VQ. These strategies explore tradeoffs among quantization quality, scale overhead, and codebook granularity. All reconstruct MX-native W4A4 operands without materializing intermediate high-precision weights. We evaluate MXCode on Qwen3 (235B), DeepSeek-R1 (671B), and GLM-5.2 (753B) using the Microsoft MX Emulation Library. MXCode achieves approximately 2 bits per weight with competitive, workload-dependent model quality. On GB300 hardware, experiments with Qwen3 (235B) show approximately 50% lower model-load memory than Native FP4 while maintaining near-Native-FP4 serving throughput. Under memory-constrained prefix reuse, P90 TTFT improves by up to 94.5%. These results demonstrate software-based reconstruction on existing FP4 hardware and inform the development of future MX-native inference systems.
• Abstract（参考訳）: メモリ容量と帯域幅はLLM推論の主要なボトルネックであり、従来の4ビット量子化以上の重み圧縮を動機付けている。 ベクトル量子化(VQ)は、約2ビットの重み記憶を可能にするが、しばしばネイティブなFP4計算と互換性のないコードブックに依存している。 MXCode(MX-Native Codebook Quantization)は,マイクロXcaling(MX)ネイティブFP4計算で超低ビットVQ圧縮をブリッジするフレームワークである。 MXCodeは、学習したコードブックをMXFP4に量子化するPostScale、コードブック学習前にMXスケールを抽出するPreScale、VQを使ってこれらのスケールをさらに圧縮するPreScale+という3つの戦略を提案する。 これらの戦略は、量子化品質、スケールオーバヘッド、コードブックの粒度のトレードオフを探求する。 すべてのMXネイティブのW4A4オペランドを中間精度の重みを作らずに再構築する。 Microsoft MX Emulation Library を用いて Qwen3 (235B), DeepSeek-R1 (671B), GLM-5.2 (753B) 上で MXCode を評価する。 MXCodeは、競争力があり、ワークロードに依存したモデル品質で、1ウェイトあたり約2ビットを達成する。 GB300のハードウェアでは、Qwen3(235B)による実験では、Native FP4よりも約50%低いモデル負荷メモリを示し、ほぼNative-FP4のスループットを維持している。 メモリ制限付きプレフィックスの再利用では、P90 TTFTは94.5%改善している。 これらの結果は、既存のFP4ハードウェア上でのソフトウェアベースの再構築を実証し、将来のMXネイティブ推論システムの開発を知らせるものである。

関連論文リスト

• QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs [28.506112762913393]
  本稿では,QATFactoryについて紹介する。QADと強化学習のためのオープンソースフレームワークである。 QATFactoryは、BF16で行列乗算を実行しながら、デプロイメント時間量子化をシミュレートする。 NVFP4、MXFP4、$text$のQ4_Kフォーマットをサポートする。
  論文  参考訳（メタデータ） (2026-09-30T08:00:35Z)
• MXAttention: Data-Free Optimal Scaling and Pre-Normalization Quantization for MXFP4 Attention [11.481044720988876]
  我々はMXFP4の注意を引くためのデータフリーのポストトレーニング量子化フレームワークMXAttentionを提案する。 MXAttentionは,OCP MXFP4 と FP16 の VBench Imaging Quality ギャップの少なくとも95%を閉じ,フレームレベルの類似性を著しく改善し,FP16 レベルの生成品質を 0.01 未満の絶対劣化で維持することを示した。
  論文  参考訳（メタデータ） (2026-07-27T12:53:22Z)
• FASQ: Flexible Accelerated Subspace Quantization for Calibration-Free LLM Compression [5.385515135626162]
  FASQ(Flexible Accelerated Subspace Quantization)は,大規模言語モデルに製品量化を適用するキャリブレーションフリーフレームワークである。 Meta-Llama-3-8Bでは、FASQは4ビット GPTQ と AWQ の精度(67-42%モデルサイズ)を37-42%モデルサイズで上回っている。
  論文  参考訳（メタデータ） (2026-04-22T20:03:36Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• MicroMix: Efficient Mixed-Precision Quantization with Microscaling Formats for Large Language Models [3.305409455598179]
  量子化は大規模言語モデル(LLM)の推論を著しく加速する 近年のウェイトアクティベーション量子化の進歩は、主にウェイトとアクティベーションの両方をINT4フォーマットにマッピングすることに焦点を当てている。 マイクロスケーリング(MX)データフォーマットをベースとした混合精度量子化アルゴリズムと行列乗算カーネルであるMicroMixを提案する。
  論文  参考訳（メタデータ） (2025-08-04T12:22:39Z)
• AMXFP4: Taming Activation Outliers with Asymmetric Microscaling Floating-Point for 4-bit LLM Inference [6.699442219974261]
  AMXFP4は4ビットの非対称なFPフォーマットで、どちらも非対称な共有スケールで処理する。 AMXFP4はVQAでMXFP4を3%上回り、CSQAで1.6%上回る。
  論文  参考訳（メタデータ） (2024-11-15T03:11:19Z)
• QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving [52.31791050376249]
  量子化は大規模言語モデル(LLM)の推論を加速させる。 4ビット重み、8ビットアクティベーション、4ビットKVキャッシュを備えたW4A8KV4量子化アルゴリズムQoQを導入する。 QServeは、Llama-3-8BをA100で1.2倍、L40Sで1.4倍、Qwen-721.5BをA100で2.4倍、L40Sで3.5倍、達成可能な最大機能を改善する。
  論文  参考訳（メタデータ） (2024-05-07T17:59:30Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。