論文の概要: FP4Quant: Efficient 4-Bit Communication Compression for Model-Parallel LLM Training

• arxiv url: http://arxiv.org/abs/2611.04323v1
• Date: Tue, 03 Nov 2026 05:03:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-10 03:29:32.149824
• Title: FP4Quant: Efficient 4-Bit Communication Compression for Model-Parallel LLM Training
• Title（参考訳）: FP4Quant:モデルパラレルLDM訓練における4ビット通信圧縮の効率化
• Abstract要約: モデル並列学習のためのマイクログループFP4圧縮フレームワークである textbfFP4Quant を提案する。 Qwen-7BによるNVIDIA H100 GPUの実験では、BF16よりも1.56$times$エンドツーエンドのスループットが改善されている。
• 参考スコア（独自算出の注目度）: 7.809435767124107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid scaling of large language models (LLMs) has made communication overhead a critical bottleneck in distributed model-parallel training. Although existing low-precision compression methods can effectively reduce communication costs, further reducing the communication footprint to ultra-low-bit formats such as FP4 introduces new challenges, including limited numerical range, sub-byte storage overhead, and increased computational cost from fine-grained quantization. In this paper, we present \textbf{FP4Quant}, a micro-grouped FP4 compression framework for efficient model-parallel LLM training. FP4Quant integrates a micro-grouped dual-scale FP4 quantization mechanism to preserve local tensor distribution characteristics, a warp-cooperative FP4 packing scheme to enable efficient sub-byte data representation, and a hybrid two-level FWHT pipeline to mitigate quantization errors with GPU-aware execution optimization. Experiments on NVIDIA H100 GPUs with Qwen-7B demonstrate up to 1.56$\times$ end-to-end throughput improvement over BF16, revealing a trade-off between throughput and model quality.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速なスケーリングは、分散モデル並列トレーニングにおいて通信オーバーヘッドを重大なボトルネックにした。 既存の低精度圧縮手法は通信コストを効果的に削減できるが、FP4のような超低ビットフォーマットへの通信フットプリントの削減は、数値範囲の制限、サブバイトストレージのオーバーヘッド、微粒化による計算コストの増大など、新たな課題をもたらす。 本稿では,モデル並列LLM学習のためのFP4圧縮フレームワークであるtextbf{FP4Quant}について述べる。 FP4Quantは、局所的なテンソル分布特性を維持するためにマイクログループ化されたデュアルスケールFP4量子化機構、効率的なサブバイトデータ表現を可能にするワープ協調FP4パッキングスキーム、GPU対応実行最適化による量子化エラーを軽減するためのハイブリッド2レベルFWHTパイプラインを統合する。 Qwen-7BによるNVIDIA H100 GPUの実験では、BF16よりも1.56$\times$エンドツーエンドのスループットが改善され、スループットとモデル品質のトレードオフが明らかになった。

関連論文リスト

• Calibration of Large Model Quantization based on HiFloat4 Format [22.96635946514655]
  HiFloat4 (HiF4)は、3レベルのスケーリング階層を持つBlock Floating-Point (BFP)フォーマットを採用した競合相手として登場した。 我々は、HiF4フォーマットに基づくモデル量子化をさらに強化するために、HiGPTQ、HiAutoRound、HiFlatQuantの3つのキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2026-10-30T01:10:51Z)
• FourTune: Towards Fully 4-Bit Efficient Post-Training for Diffusion Models [50.66675248468456]
  FourTuneは、エンドツーエンドのW4A4G4パラダイムに基づいた拡散モデルのための効率的な後トレーニングフレームワークである。 FourTuneはメモリオーバーヘッドを2.25$times$に減らし、エンドツーエンドのトレーニングスループットをBF16 LoRAと比較して2.27$times$にする。
  論文  参考訳（メタデータ） (2026-07-07T00:34:30Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• Practical FP4 Training for Large-Scale MoE Models on Hopper GPUs [2.576131688630686]
  大規模なMixture-of-Experts(MoE)モデルのトレーニングは、アクティベーションメモリとエキスパート-並列通信によってボトルネックとなる。 4ビットのネイティブサポートを伴わないHopper上でMoEモデルのMXFP4効率を実現するためのトレーニングレシピを提案する。
  論文  参考訳（メタデータ） (2026-03-03T08:29:19Z)
• ARCQuant: Boosting NVFP4 Quantization with Augmented Residual Channels for LLMs [4.431548809730958]
  ARCQuantは、Augmented Residual Channelsを通じてNVFP4パフォーマンスを向上させるフレームワークである。 ARCQuantは、複雑なタスクや下流タスクにおいて、完全精度のベースラインに匹敵する、最先端の精度を実現する。
  論文  参考訳（メタデータ） (2026-01-12T12:27:22Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。