論文の概要: Ablation Study of Block Size, Weight Precision, and Scale Precision in NVFP4 Inference for Low-Power Edge-Efficient Neural Networks

• arxiv url: http://arxiv.org/abs/2606.06527v1
• Date: Wed, 03 Jun 2026 03:09:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.344595
• Title: Ablation Study of Block Size, Weight Precision, and Scale Precision in NVFP4 Inference for Low-Power Edge-Efficient Neural Networks
• Title（参考訳）: 低消費電力エッジ効率ニューラルネットワークに対するNVFP4推論におけるブロックサイズ, ウェイト精度, スケール精度のアブレーション
• Authors: Ovishake Sen, Venkata Nithin Kamineni, Daniel Lobo, Swarup Bhunia, Rickard Ewetz, Baibhab Chatterjee,
• Abstract要約: エネルギー効率のよいエッジ推論では、演算コスト、メモリトラフィック、ハードウェアオーバーヘッドを削減する必要がある。 本稿では, エッジ効率のニューラルネットワークに対するNVFP4 LUTに基づく推論について, アブレーションに着目した検討を行った。
• 参考スコア（独自算出の注目度）: 9.460818703756205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-efficient edge inference requires reducing arithmetic cost, memory traffic, and hardware overhead. This paper presents an ablation-focused study of NVFP4 LUT-based inference for edge-efficient neural networks. The proposed NVLUT framework combines 4-bit NVFP4 activations, two-level scaling, LUT-based mantissa computation, voltage-scaled storage, and selective ECC protection. Multiplication is decomposed into sign, exponent, and mantissa paths, where sign uses XOR logic, exponent uses integer addition, and mantissa multiplication is replaced by compact LUT access. NVFP4 activations use FP4 data with an FP8 block scale and an FP32 tensor scale. Across six edge-efficient models, block-size ablation shows that B = 16 offers a practical accuracy/storage trade-off, requiring only 4.5078 bits per input for N = 4096. Weight-precision ablation shows that FP8 and FP16 weights provide only modest gains over FP4 weights under the same NVFP4 activation path. Compared with pure unscaled FP4, NVFP4 without retraining recovers substantial accuracy by restoring activation dynamic range, while NVFP4 with retraining achieves the best accuracy across models. Hardware analysis shows that NVLUT achieves up to 26.85x energy reduction over traditional LUTs with ECC plus voltage scaling and up to 22.85x under mixed-voltage operation. Area is reduced by up to 2.21x and 1.52x, respectively. These results demonstrate that NVFP4 two-level scaling with selective reliability protection enables robust, low-energy edge inference.
• Abstract（参考訳）: エネルギー効率のよいエッジ推論では、演算コスト、メモリトラフィック、ハードウェアオーバーヘッドを削減する必要がある。 本稿では, エッジ効率のニューラルネットワークに対するNVFP4 LUTに基づく推論について, アブレーションに着目した検討を行った。 提案したNVLUTフレームワークは,4ビットNVFP4アクティベーション,2レベルスケーリング,LUTベースのマンチサ計算,電圧スケールストレージ,選択ECC保護を組み合わせたものである。 乗算は符号、指数、マンティッサパスに分解され、符号はXOR論理を使い、指数は整数加算を使い、マンティッサ乗算はコンパクトなLUTアクセスに置き換えられる。 NVFP4アクティベーションは、FP8ブロックスケールとFP32テンソルスケールを持つFP4データを使用する。 6つのエッジ効率のモデル全体で、ブロックサイズのアブレーションは、B = 16がN = 4096の入力に対して4.5078ビットしか必要とせず、実用的な精度/保存トレードオフを提供することを示している。 軽量アブレーションは、FP8とFP16の重量が同じNVFP4活性化経路下でFP4の重量よりもわずかに上昇することを示している。 純粋な非スケールのFP4と比較して、NVFP4はアクティベーションダイナミックレンジを復元することでかなりの精度を回復し、NVFP4はモデル間で最高の精度を達成する。 ハードウェア分析により、NVLUTはECCと電圧スケーリングを併用した従来のLUTよりも最大26.85倍のエネルギー削減を実現し、混合電圧動作では最大22.85倍となる。 面積は、それぞれ2.21倍と1.52倍に減少する。 これらの結果から,NVFP4の2レベルスケーリングによる信頼性保護により,堅牢で低エネルギーなエッジ推論が可能であることが示唆された。

関連論文リスト

• TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization [13.984796236174331]
  トレーニング不要なポストトライニング量子化フレームワークとしてTORQ (Two-level Orthogonal Rotation for MXFP4 Quantization)を提案する。 既存の手法と比較して, TORQはMXFP4の活性化量子化の精度を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-19T09:05:47Z)
• Multi-Scale Dequant: Eliminating Dequantization Bottleneck via Activation Decomposition for Efficient LLM Inference [12.249074183271743]
  量子化は、効率的な大言語モデル(LLM)の推論に不可欠である。 行列乗算のための高精度な低ビット重みを復号化するためのステップ変換は、現代のAIアクセラレーターにとって重要なボトルネックとなっている。 本稿では,GEMM臨界経路から重み/KV重みを除去する量子化フレームワークであるMulti-Scale Dequant(MSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T09:49:56Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• Practical FP4 Training for Large-Scale MoE Models on Hopper GPUs [2.576131688630686]
  大規模なMixture-of-Experts(MoE)モデルのトレーニングは、アクティベーションメモリとエキスパート-並列通信によってボトルネックとなる。 4ビットのネイティブサポートを伴わないHopper上でMoEモデルのMXFP4効率を実現するためのトレーニングレシピを提案する。
  論文  参考訳（メタデータ） (2026-03-03T08:29:19Z)
• Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling [13.357423392911036]
  NVFP4量子化アルゴリズムを改良したFour Over Six (4/6)を導入する。 いくつかのブロックに対して、より小さなFP4値へのスケーリングは、表現可能な値の分布をより均一にする。 また,4/6は,多くの学習後量子化手法に容易に組み込むことができ,一般に下流の精度が向上することがわかった。
  論文  参考訳（メタデータ） (2025-12-01T18:59:45Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
  量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。 この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
  論文  参考訳（メタデータ） (2025-01-28T18:04:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。