論文の概要: MX-SAFE: Versatile Inference- and Training-Proof Microscaling Format with On-the-Fly Exponent and Mantissa Bit Allocation
- arxiv url: http://arxiv.org/abs/2605.24391v1
- Date: Sat, 23 May 2026 04:21:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.02547
- Title: MX-SAFE: Versatile Inference- and Training-Proof Microscaling Format with On-the-Fly Exponent and Mantissa Bit Allocation
- Title（参考訳）: MX-SAFE:オンザフライ・インポンジェントとマンティッサ・ビット・アロケーションを用いたVersatile Inference- and Training-Proof Microscaling Format
- Authors: Dahoon Park, Jahyun Koo, Sangwoo Hwang, Jaeha Kung,
- Abstract要約: MXSFフォーマットを用いたトレーニングにおいて,再量子化処理の負担を軽減し,ハードウェア効率を向上させるためのタイルベースブロック設計を提案する。
MXSFフォーマットをサポートするトレーニング推論アクセラレータを提案し,BF16ベースラインと同様の精度を実現する。
- 参考スコア（独自算出の注目度）: 4.769740034530933
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As the demand for deep learning grows, cost reduction through quantization has become essential for both training and inference. In 2022, the Open Compute Project (OCP) consortium standardized narrow precision formats for deep learning, called the microscaling (MX) format. The MX format is a hardware-friendly dynamic quantization scheme that effectively reduces the data size by sharing an 8-bit exponent across multiple operands. The MX format can be categorized into two types with their own strengths: (i) MXINT which focuses on a high precision consisting only of mantissa bits and (ii) MXFP which focuses on a wider dynamic range by allowing local exponent bits. In this work, we present a versatile MXFP format, called MX-SAFE (MXSF in short), that adaptively uses two modes, i.e., a wider mantissa mode (FP8 E2M5) and a subnormal FP mode (FP5 E3M2), to support both training and direct-cast inference. Furthermore, we propose a tile-based block design to increase hardware efficiency by reducing the burden of re-quantization process during the training with the MXSF format. Owing to the use of the proposed MXSF format, 0.05%/11.1% and 3.55%/3.57% improvements in accuracy, on average, for inference/full-training compared to MXFP8 E2M5 and MXFP8 E4M3 are observed, respectively. Moreover, we present a training-inference accelerator that supports the MXSF format and it achieves similar accuracy to the BF16 baseline while using 24.9% less total energy consumption.
- Abstract（参考訳）: ディープラーニングの需要が増加するにつれて、量子化によるコスト削減は、トレーニングと推論の両方に欠かせないものになっている。
2022年、Open Compute Project (OCP)コンソーシアムは、microscaling (MX)フォーマットと呼ばれる、ディープラーニングのための狭い精度のフォーマットを標準化した。
MXフォーマットはハードウェアフレンドリーな動的量子化方式であり、複数のオペランド間で8ビット指数を共有することでデータサイズを効果的に削減する。
MXフォーマットは2つのタイプに分類できる。
一 マニサビットのみからなる高精度のMXINT
(ii)MXFPは、局所指数ビットを許容することにより、より広いダイナミックレンジに焦点を当てる。
本稿では,MX-SAFE (MXSF, MXSF) と呼ばれる汎用MXFP方式を提案する。この方式では, トレーニングと直接キャスト推論の両方をサポートするために, より広いマティーサモード (FP8 E2M5) と非正規FPモード (FP5 E3M2) の2つのモードを適応的に使用する。
さらに,MXSFフォーマットを用いたトレーニングにおいて,再量子化処理の負担を軽減し,ハードウェア効率を向上させるためのタイルベースブロック設計を提案する。
提案したMXSFフォーマットを用いることにより,MXFP8 E2M5およびMXFP8 E4M3と比較して,平均精度が0.05%/11.1%,3.55%/3.57%向上した。
さらに、MXSFフォーマットをサポートするトレーニング推論アクセラレータを提案し、総エネルギー消費量を24.9%削減しつつ、BF16ベースラインと同様の精度を実現する。
関連論文リスト
- MXNorm: Reusing MXFP block scales for efficient tensor normalisation [39.74786083127591]
我々は、MXFP8キャストの一部として計算されたブロックスケールのみを用いてRMSを推定するRMSNormのドロップイン置換であるMXNormを提案する。
我々は,MXFP8のLlama 3 8B変換器層における1.3%の高速化とNVFP4の2.6%の高速化に対応して,MXNorm上のトーチ.コンパイルを最大2.4倍のRMSNormで実行した。
論文 参考訳（メタデータ） (2026-03-13T17:14:06Z) - Unveiling the Potential of Quantization with MXFP4: Strategies for Quantization Error Reduction [1.8599887993390827]
Open Compute Project (OCP) Microscaling標準MXFP4はNVIDIAのNVFP4の精度に遅れている。
我々は,OAS(Overflow-Aware Scaling)とMBS(Macro Block Scaling)という,ソフトウェアのみの2つのテクニックを紹介した。
OASとMBSはMXFP4とNVFP4のエンドツーエンドの精度ギャップを平均で約10%から1%以下に減らす。
論文 参考訳（メタデータ） (2026-01-30T23:24:17Z) - Precision-Scalable Microscaling Datapaths with Optimized Reduction Tree for Efficient NPU Integration [3.146407420010677]
本稿では, MX MAC に対して, 両方のアプローチの利点を組み合わせた, ハイブリッド精度・スケール可能な削減木を提案する。
我々は、これらのMACの8x8配列を最先端(SotA)のNPU統合プラットフォームであるSNAXに統合し、効率的な制御とデータ転送を提供する。
MXINT8, MXFP8/6, MXFP4のスループットは64, 256, 512 GOPSでそれぞれ657, 1438-1675, 4065 GOPS/Wのエネルギー効率を実現している。
論文 参考訳（メタデータ） (2025-11-09T10:24:17Z) - INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。
本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。
FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
論文 参考訳（メタデータ） (2025-10-29T15:11:53Z) - MX+: Pushing the Limits of Microscaling Formats for Efficient Large Language Model Serving [4.176741972965246]
大規模言語モデル(LLM)のコスト効率向上のためには,データフォーマットの高精度化が不可欠である
本稿では,ブロック浮動小数点(BFP)フォーマットの最近の業界主導の変種に着目した。
マイクロスケーリング(MX)フォーマットへのシームレスな統合を目的とした費用対効果と非侵入性の拡張であるMX+を提案する。
論文 参考訳（メタデータ） (2025-10-16T11:05:54Z) - Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。
本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。
MR-GPTQは最先端の精度で一致または性能が向上することを示す。
論文 参考訳（メタデータ） (2025-09-27T09:22:21Z) - Towards Fully FP8 GEMM LLM Training at Scale [77.97607456493257]
既存のアプローチは、しばしば最適化されたFP8カーネルに依存するか、より高精度な行列乗算に回帰する。
本稿では, トランスブロック内のすべてのGEMMに対して, 前方および後方の両方でFP8計算をサポートする新しいLLMアーキテクチャを提案する。
これにより、特に大規模では、標準的なBF16トレーニングのダウンストリームパフォーマンスにマッチしながら、前例のないスループット向上が可能になる。
論文 参考訳（メタデータ） (2025-05-26T21:04:14Z) - AMXFP4: Taming Activation Outliers with Asymmetric Microscaling Floating-Point for 4-bit LLM Inference [6.699442219974261]
AMXFP4は4ビットの非対称なFPフォーマットで、どちらも非対称な共有スケールで処理する。
AMXFP4はVQAでMXFP4を3%上回り、CSQAで1.6%上回る。
論文 参考訳（メタデータ） (2024-11-15T03:11:19Z) - FP8-LM: Training FP8 Large Language Models [47.17804713425323]
本稿では,大規模言語モデルの学習のためのFP8自動混合精度フレームワークを提案する。
実験の結果,H100 GPUプラットフォーム上でのGPT-175Bモデルのトレーニングにおいて,我々のFP8混合精度トレーニングフレームワークは,実際のメモリ使用量の39%削減だけでなく,広く採用されているBF16フレームワークよりも75%高速に動作したことがわかった。
論文 参考訳（メタデータ） (2023-10-27T17:59:51Z) - FP8 Formats for Deep Learning [49.54015320992368]
2つのエンコーディングからなる8ビット浮動小数点(FP8)バイナリインターチェンジフォーマットを提案する。
E4M3のダイナミックレンジは無限大を表現せず、NaNに対して1つのマティーサビットパターンしか持たないことによって拡張される。
16ビットのトレーニングセッションで達成した結果の質を効果的にマッチングし,FP8フォーマットが様々な画像および言語タスクに対して有効であることを示す。
論文 参考訳（メタデータ） (2022-09-12T17:39:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。