論文の概要: ReSET: Accurate Latency-Critical NVFP4 Reasoning via Step-Aware Temperature Scaling
- arxiv url: http://arxiv.org/abs/2606.13233v1
- Date: Thu, 11 Jun 2026 11:47:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.764349
- Title: ReSET: Accurate Latency-Critical NVFP4 Reasoning via Step-Aware Temperature Scaling
- Title（参考訳）: ReSET:ステップアウェア温度スケーリングによる正確なレイテンシ臨界NVFP4推論
- Abstract要約: 我々は,NVFP4量子化が推論中のトークンレベルの不確実性に与える影響を解析した。
量子化は低エントロピーシンボリックトークンにおける不正サンプリングを増加させることを示す。
さらにトークンレベルのエントロピー信号とステップレベルのエントロピー信号の両方を用いて、レイテンシクリティカルなデコーディングのためのコア$M$FP4カーネルを設計する。
- 参考スコア（独自算出の注目度）: 9.642832832617144
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large reasoning models (LRMs) improve complex problem-solving by generating long intermediate reasoning traces, but this substantially increases inference costs. NVFP4 inference offers a promising approach to reduce both computational and memory costs through hardware-supported low-precision execution. However, directly applying NVFP4 to LRMs introduces two practical limitations: reasoning accuracy degrades under quantization, and existing NVFP4 kernels do not fully realize latency benefits in small-batch autoregressive decoding. In this work, we analyze the effect of NVFP4 quantization on token-level uncertainty during reasoning. We show that quantization increases incorrect sampling at low-entropy symbolic tokens, while causing over-concentration on a small set of tokens in high-uncertainty reasoning steps. Based on this observation, we propose \textbf{ReSET}, a reasoning-step entropy-based temperature-scaling method that estimates step-level uncertainty online and adapts the decoding temperature using both token-level and step-level entropy signals. To address the latency gap, we further design a CUDA-core small-$M$ NVFP4 kernel for latency-critical autoregressive decoding. Across reasoning benchmarks and model scales, ReSET improves NVFP4 reasoning accuracy by up to $\sim\!$2 points over the NVFP4 baseline. Our CUDA-core small-$M$ kernel further improves latency-critical decoding, delivering up to $2.5\!\times$ kernel-level speedup over NVFP4 vLLM and approximately $2\!\times$ end-to-end decoding speedup over BF16. Code is available at https://github.com/aiha-lab/ReSET.
- Abstract（参考訳）: 大きな推論モデル(LRM)は、長い中間推論トレースを生成することによって複雑な問題解決を改善するが、これは推論コストを大幅に増加させる。
NVFP4推論は、ハードウェアサポートされた低精度実行によって計算コストとメモリコストの両方を削減するための有望なアプローチを提供する。
しかし、LRMにNVFP4を直接適用すると、量子化下での精度低下の推論と、既存のNVFP4カーネルは、小さなバッチの自動回帰デコーディングにおいてレイテンシの利点を完全には実現していないという2つの実用的な制限が生じる。
本研究では,NVFP4量子化が推論中のトークンレベルの不確実性に与える影響を解析する。
量子化は低エントロピーのシンボリックトークンにおいて不正サンプリングを増加させる一方で、高不確実な推論ステップにおいて小さなトークンセットに過度に集中することを示した。
本研究は,オンライン上でステップレベルの不確実性を推定し,トークンレベルのエントロピー信号とステップレベルのエントロピー信号の両方を用いて復号温度を適応する,推論段階のエントロピーに基づく温度スケーリング手法である,textbf{ReSET}を提案する。
レイテンシギャップに対処するため、レイテンシクリティカルな自己回帰デコードのためのCUDAコアの小型M$NVFP4カーネルをさらに設計する。
推論ベンチマークとモデルスケール全体で、ReSETはNVFP4推論の精度を最大$\sim\!
NVFP4ベースラインを2ポイント上回る。
私たちのCUDAコアの小型M$カーネルは、レイテンシクリティカルなデコーディングをさらに改善し、最大2.5\!
NVFP4 vLLMでカーネルレベルのスピードアップ、約2ドル!
\times$ end-to-end decoding speedup over BF16。
コードはhttps://github.com/aiha-lab/ReSETで入手できる。
関連論文リスト
- Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention [34.07319488267708]
最近のNVFP4事前学習法は主に変圧器線形層を対象としており、4ビットパイプラインで探索された計算状態、算術的および注意点を残している。
この臨界ギャップは、3つのコアモジュールがユニークな数値的な故障パターンを示すため、安定なフルスタック4ビットプリトレーニングをブロックする。
3つの安定性ボトルネックをすべて解決した最初の完全NVFP4事前学習フレームワークであるFull-Stack FP4を提案する。
論文 参考訳（メタデータ） (2026-07-05T17:31:36Z) - SPEAR: A System for Post-Quantization Error-Adaptive Recovery Enabling Efficient Low-Bit LLM Serving [26.96887030437247]
本稿では,低ビットLLM機能を改善するポスト量子化誤り適応リカバリシステムSPEARを提案する。
SPEARは、トーケンゲートごとに軽量なエラー補償器(EC)を導入し、CKA誘導エントロピー認識診断によって識別される最もエラーに敏感な層にのみ配置する。
我々は,SPEARがW4とFP16の難易度ギャップの56-75%を回復し,1%未満のモデルメモリオーバヘッドを付加し,広く使用されている4ビットサービスデプロイメントに匹敵するレイテンシを維持することを示した。
論文 参考訳（メタデータ） (2026-06-04T22:38:53Z) - Mix-Quant: Quantized Prefilling, Precise Decoding for Agentic LLMs [78.01752802974855]
高速エージェント推論のための簡易かつ効果的な位相認識量子化フレームワークであるMix-Quantを提案する。
我々は,Mix-Quantがタスク性能を保ち,高い効率向上を実現し,プリフィル時に最大3倍の高速化を実現していることを示す。
論文 参考訳（メタデータ） (2026-05-19T17:50:17Z) - OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。
本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。
X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
論文 参考訳（メタデータ） (2026-05-19T10:53:03Z) - BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳（メタデータ） (2026-04-05T04:25:07Z) - Dissecting Outlier Dynamics in LLM NVFP4 Pretraining [46.10969678564592]
本研究は,NVFP4プレトレーニング中におけるアーキテクチャ内外層力学の経時的解析を行う。
我々は、Softmax Attention (SA) と比較して、Linear Attention (LA) はテンソルあたりの重みを減少させるが、ブロック量子化の下ではブロックレベルのスパイクが持続することを示した。
次に,NVFP4のトレーニングレシピであるCHONを開発し,QK後の操作保護と統合した。
論文 参考訳（メタデータ） (2026-02-02T12:50:27Z) - Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation [40.140261007984215]
我々は,NVFP4における量子化学習のための技術の現状を,マイクロスケールフォーマットのための新しい非バイアス量子化ルーチンによって改善する。
解析学的に、Quartet II はすべての行列乗法において一貫したより良い勾配推定を達成できることを示す。
論文 参考訳（メタデータ） (2026-01-30T10:39:11Z) - Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。
本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。
MR-GPTQは最先端の精度で一致または性能が向上することを示す。
論文 参考訳（メタデータ） (2025-09-27T09:22:21Z) - R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。
CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。
トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文 参考訳（メタデータ） (2025-07-23T08:14:36Z) - Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。
SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。
したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
論文 参考訳（メタデータ） (2025-05-01T06:47:45Z) - Understanding INT4 Quantization for Transformer Models: Latency Speedup,
Composability, and Failure Cases [24.34969722921442]
W4A4量子化は、エンコーダのみのモデルとエンコーダデコーダのみのモデルに対して、無視可能な精度劣化を起こさないが、デコーダのみのモデルでは相当な精度低下を引き起こすことを示す。
我々は、異なる量子化戦略をサポートする高度に最適化されたエンドツーエンドのW4A4エンコーダ推論パイプラインを開発した。
論文 参考訳（メタデータ） (2023-01-27T22:44:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。