論文の概要: Training an MoE LLM in MXFP4: How We Closed the Gap to BF16

• arxiv url: http://arxiv.org/abs/2610.32229v1
• Date: Fri, 23 Oct 2026 06:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.410431
• Title: Training an MoE LLM in MXFP4: How We Closed the Gap to BF16
• Title（参考訳）: MXFP4でのMOE LLMのトレーニング:BF16へのギャップをいかに埋めたか
• Abstract要約: サブ8ビット演算における大規模言語モデル(LLM)のトレーニングは、メモリ帯域幅と計算スループットを大幅に向上させる。 しかし、FP4フォーマットは、未修正のままで最適化を不安定にするのに十分な量子化エラーをもたらす。 GPT-OSS-20BのオープンソーストレーニングレシピであるALTOをMXFP4マイクロスケーリングフォーマットでSmall MoE Trainingベンチマークで紹介する。
• 参考スコア（独自算出の注目度）: 13.352930713733691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large language models (LLMs) in sub-8-bit arithmetic promises substantial gains in memory bandwidth and compute throughput, yet FP4 formats introduce quantization error severe enough to destabilize optimization if left unaddressed. We present ALTO, an open-source training recipe for GPT-OSS-20B, a 20-billion-parameter mixture-of-experts (MoE) model, on the MLPerf Small MoE Training benchmark under the MXFP4 microscaling format. The recipe combines established techniques from Abecassis, Felix et al. [arXiv:2509.25149] (hybrid 1D/2D block quantization, randomized Hadamard transforms, and stochastic rounding) with a simplified weight de-oscillation scheme adapted from TetraJet-v2 [arXiv:2510.27527]. On C4 validation at global batch size 16, MXFP4 + RHT + SR + de-oscillation reaches a validation loss of 3.3350 at 16,128 steps, only 0.007 above the BF16 baseline (3.3283), closing roughly 50% of the gap left by MXFP4 without de-oscillation (3.3418). Measured by steps to reach the MLPerf quality target (validation loss 3.34), de-oscillation cuts the FP4 convergence overhead relative to BF16 from +20.0% to +5.0%. We also report negative end-to-end results from differential gradient estimation, outlier clipping, and macro-block scaling, despite each showing operator-level SNR gains. All experiments use simulated MXFP4 kernels on AMD MI300 hardware and wall-clock speed has not been optimized.
• Abstract（参考訳）: サブ8ビット演算における大規模言語モデル(LLM)のトレーニングでは、メモリ帯域幅と計算スループットが大幅に向上するが、FP4フォーマットでは、未調整の場合には最適化を不安定にするのに十分な量子化誤差が生じる。 我々は, MLPerf Small MoE Trainingベンチマークにおいて, GPT-OSS-20B のオープンソーストレーニングレシピである ALTO をMXFP4 マイクロスケーリングフォーマットで提案する。 このレシピは、Abecassis, Felix et al [arXiv:2509.25149] (ハイブリッド1D/2Dブロック量子化、ランダム化アダマール変換、確率円形化)の確立した技術と、TetraJet-v2[arXiv:2510.27527]を応用した簡易な減振動方式を組み合わせたものである。 グローバルバッチサイズ16でのC4バリデーションでは、MXFP4 + RHT + SR + de-oscillationは16,128ステップで3.3350の検証損失に達し、BF16ベースライン(3.3283)より0.007しか上らない。 MLPerfの品質目標(バリデーション損失3.34)に到達するためのステップによって測定されるデオシレーションは、BF16に対するFP4収束オーバーヘッドを+20.0%から+5.0%に削減する。 また, 演算子レベルのSNRゲインを示すにもかかわらず, 差分勾配推定, クリッピング, マクロブロックスケーリングによる負のエンド・ツー・エンド結果も報告した。 全ての実験ではAMD MI300ハードウェア上でMXFP4カーネルをシミュレートし、ウォールクロック速度は最適化されていない。

関連論文リスト

• HiFloat4 Format for End-To-End Reinforcement Learning Post-Training of Large Language Models [9.149747042283197]
  本報告では,FP4RLのロールアウトとトレーニングポリシの両方を4ビット精度で動作させる,最初のエンドツーエンドのポストトレーニングについて述べる。 軽量な修正であるRollout-ResQは、ロールアウトの計算フットプリントを膨らませることなく、アウトリア駆動のアンダーフローに損失した精度の大部分を回復する。
  論文  参考訳（メタデータ） (2026-07-29T06:28:26Z)
• HiFA4: Training-Free 4-bit FlashAttention on Ascend HIF4 NPUs for LLM Inference [7.694200642758333]
  HiFA4 は FlashAttention において 4ビット HIF4 Cube GEMM として QKT と PV の両方を実行する。 Smooth-QK は、RoPE の後、Q と K にキャリブレーション-静的なチャネルごとの等価な再スケーリングを適用する。 P順序付けは、高精度な再構成ではなく、PV GEMMで使用されるのと同じ量子化注目重量P_hatからソフトマックス正規化器を蓄積する。
  論文  参考訳（メタデータ） (2026-07-05T13:39:52Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• Unveiling the Potential of Quantization with MXFP4: Strategies for Quantization Error Reduction [1.8599887993390827]
  Open Compute Project (OCP) Microscaling標準MXFP4はNVIDIAのNVFP4の精度に遅れている。 我々は,OAS(Overflow-Aware Scaling)とMBS(Macro Block Scaling)という,ソフトウェアのみの2つのテクニックを紹介した。 OASとMBSはMXFP4とNVFP4のエンドツーエンドの精度ギャップを平均で約10%から1%以下に減らす。
  論文  参考訳（メタデータ） (2026-01-30T23:24:17Z)
• Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
  機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。 この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
  論文  参考訳（メタデータ） (2025-10-23T14:02:34Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• Training LLMs with MXFP4 [16.524414449291488]
  サポート対象ハードウェアのFP8よりも2倍高速なMXFP4 GEMMを用いた,最初のニアロスレストレーニングレシピを提示する。 我々のレシピでは、MXFP4のトレーニングFLOPを1/2$で計算し、バックプロパゲーション時に、FP8よりも$1.3times$、BF16より$1.7times$と見積もることができる。
  論文  参考訳（メタデータ） (2025-02-27T23:01:31Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)
• AMXFP4: Taming Activation Outliers with Asymmetric Microscaling Floating-Point for 4-bit LLM Inference [6.699442219974261]
  AMXFP4は4ビットの非対称なFPフォーマットで、どちらも非対称な共有スケールで処理する。 AMXFP4はVQAでMXFP4を3%上回り、CSQAで1.6%上回る。
  論文  参考訳（メタデータ） (2024-11-15T03:11:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。