論文の概要: What Does 4-Bit Microscaling Cost a Wearable Activity Recognizer?

• arxiv url: http://arxiv.org/abs/2611.04185v1
• Date: Tue, 03 Nov 2026 02:22:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 01:23:20.894182
• Title: What Does 4-Bit Microscaling Cost a Wearable Activity Recognizer?
• Title（参考訳）: 4ビットのマイクロスケーリングは、ウェアラブルのアクティビティ認識に何の費用がかかるか?
• Abstract要約: 我々は,Hang-Time HARにおける手首加速度計データから,バスケットボールの4つのアクションを認識するためにCNNを訓練する。 完全精度では69.26%のマクロF1に達する。 シミュレーションでは、4ビットの重量はMXFP4で1.45点、NVFP4で0.72点である。
• 参考スコア（独自算出の注目度）: 0.08594140167290097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wearable sports sensors can recognize actions on the device itself, where lower-precision numbers reduce model storage and memory traffic. Two 4-bit block-scaled formats, MXFP4 from the Open Compute Project, introduced in 2023, and NVFP4 from NVIDIA, introduced in 2025, are drawing interest. Published evaluations cover general deep-learning benchmarks and large language models; to our knowledge, nobody has yet measured what they cost a small wearable-sensor model. We train a 159,492-parameter 1D CNN to recognize four basketball actions from wrist-accelerometer data in Hang-Time HAR and test it on players it has never seen, using five-fold cross-validation grouped by player. Every comparison between number formats is made fold by fold. In full precision the model reaches 69.26\% macro-F1. Measured TFLite FP16 and INT8 models lose at most 0.16 percentage points. In simulation, 4-bit weights cost 1.45 points with MXFP4 and 0.72 points with NVFP4. When activations are quantized to 4 bits as well, MXFP4 loses 5.14 points and NVFP4 only 0.75, and NVFP4 comes out ahead in all five held-out-player folds. The ranking survives two alternative simulator settings, with NVFP4 leading by 3.49 to 4.40 points. A $2 \times 3$ ablation with 4-bit weights and activations (two block sizes and three scale rules) points to scale selection as the main source of MXFP4's loss. The reference MXFP4 conversion we simulate rounds the scale down, which can pick scales that are too small, so many blocks clip their largest values. Rounding the scale up recovers 3.18 points with 32-value blocks and 3.63 points with 16-value blocks, and switching to an 8-bit floating-point scale, as NVFP4 does, adds another 0.84 and 1.20 points. Block size matters less. Under this round-down rule, 16-value blocks score 0.44 points below 32-value blocks in all five folds; under the other two rules there is no consistent effect.
• Abstract（参考訳）: ウェアラブルスポーツセンサーはデバイス自体のアクションを認識することができる。 2023年に導入されたOpen Compute ProjectのMXFP4と、2025年に導入されたNVIDIAのNVFP4という、4ビットのブロックスケールフォーマットが注目されている。 公開評価では、一般的なディープラーニングベンチマークと大規模言語モデルがカバーされています。 我々は、Hang-Time HARにおける手首加速度計データから4つのバスケットボールアクションを認識するために159,492パラメータのCNNを訓練し、プレイヤーがグループ化した5倍のクロスバリデーションを使用して、これまで見たことのないプレイヤーでそれをテストする。 数形式の比較はすべて折りたたんで行われる。 精度は69.26\%のマクロF1に達する。 測定されたTFLite FP16とINT8は0.16ポイント低下した。 シミュレーションでは、4ビットの重量はMXFP4で1.45点、NVFP4で0.72点である。 アクティベーションが4ビットに量子化されると、MXFP4は5.14ポイントを失い、NVFP4は0.75しかなく、NVFP4は5つのプレーアウト・プレイヤ・フォールドで先行する。 NVFP4は3.49ポイントから4.40ポイントの2つの代替シミュレータ設定が残っている。 4ビットの重みとアクティベーション(ブロックサイズ2つ、スケールルール3つ)を持つ2ドルの3$アブレーションは、MXFP4の損失の主な原因として選択をスケールさせる。 参照MXFP4変換はスケールダウンをシミュレートし、小さすぎるスケールを選択できるため、多くのブロックが最大の値をクリップする。 スケールアップのラウンドアップでは、32値ブロックと16値ブロックの3.18ポイントが回復し、NVFP4のように8ビット浮動小数点スケールに切り替える。 ブロックサイズはそれほど重要ではない。 このラウンドダウン規則の下では、16値ブロックは5倍の32値ブロック以下の0.44点を獲得し、他の2つのルールでは一貫した効果はない。

関連論文リスト

• Integer-Exact Microscaling: Running MXFP4 Language Models on INT8 Matrix Units [2.8512277471917824]
  2ブロック乗算器の代わりに整数を用いると、整数エクサクタフォーマット(16ワイドブロック、乗算器 1..10, 4.26 ビット)が1つの正確なINT8 GEMMとして動作する。 M5上の完全なW4A8システムは、量子化された参照に対してビットIDの出力を生成する。
  論文  参考訳（メタデータ） (2026-10-31T00:18:06Z)
• Training an MoE LLM in MXFP4: How We Closed the Gap to BF16 [13.352930713733691]
  サブ8ビット演算における大規模言語モデル(LLM)のトレーニングは、メモリ帯域幅と計算スループットを大幅に向上させる。 しかし、FP4フォーマットは、未修正のままで最適化を不安定にするのに十分な量子化エラーをもたらす。 GPT-OSS-20BのオープンソーストレーニングレシピであるALTOをMXFP4マイクロスケーリングフォーマットでSmall MoE Trainingベンチマークで紹介する。
  論文  参考訳（メタデータ） (2026-10-23T06:40:21Z)
• Replay the Curvature: Accurate and Scalable NVFP4 Quantization for Large Language Model Inference [26.657115303065485]
  本稿では,各ブロックスケールによるGPTQ更新を再現し,不定格列からの補償を考慮した結果のブロックエラーをスコアするスケール選択であるemphSchur Replayを紹介する。
  論文  参考訳（メタデータ） (2026-09-29T03:55:29Z)
• Format-Aware Fusion for Fast FP4 Pretraining [4.560316459247797]
  本稿では,各量子化プロデューサのスケールドメインとコンシューマレイアウトを共同設計したEmphformat-aware fusionを提案する。 我々は、bfloat16出力プロジェクションとコンパイルされたクロスエントロピーを用いて、Llama-3ファミリー8Bを160億トークンで事前訓練した。
  論文  参考訳（メタデータ） (2026-09-04T00:42:51Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• The case for 4-bit precision: k-bit Inference Scaling Laws [75.4335600212427]
  量子化法は、モデル内の各パラメータを表すために必要なビット数を減少させる。 最終的なモデルサイズは、元のモデルのパラメータの数と圧縮率の両方に依存する。 我々は16ビットの入力とkビットのパラメータを持つ35,000以上のゼロショット実験を行い、どの量子化手法が3ビットから8ビットの精度でスケーリングを改善するかを検証した。
  論文  参考訳（メタデータ） (2022-12-19T18:48:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。