論文の概要: APEX4: Efficient Pure W4A4 LLM Inference via Intra-SM Compute Rebalancing

• arxiv url: http://arxiv.org/abs/2606.08761v1
• Date: Sun, 07 Jun 2026 18:01:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.435024
• Title: APEX4: Efficient Pure W4A4 LLM Inference via Intra-SM Compute Rebalancing
• Title（参考訳）: APEX4:SM内コンピュート・リバランシングによる高効率純W4A4 LLM推論
• Abstract要約: W4A4の量子化はINT4 Coreの完全な利用を約束するが、Coresのグループの分散化オーバーヘッドは、既存のシステムを混合精度のフォールバックへと駆り立てている。 本稿では,SM内計算バランスがこのボトルネックをいかに支配するかについて,最初の系統的研究を行う。
• 参考スコア（独自算出の注目度）: 7.218138615728212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: W4A4 quantization promises full utilization of INT4 Tensor Cores, yet group dequantization overhead on CUDA Cores has driven existing systems to mixed-precision fallbacks. We present the first systematic study of how intra-SM compute balance governs this bottleneck. Through controlled benchmarks across four GPUs from Ampere and Ada architectures, we identify the Tensor Cores to CUDA Cores throughput ratio ($ρ$) as the primary hardware indicator: the W4A4-g128 kernel yields $2.0$--$2.5\times$ speedup on RTX~3090 ($ρ=16$) yet degrades to $0.43$--$0.47\times$ on A100 ($ρ=64$) in compute-bond scenarios, establishing W4A4 viability as platform-dependent rather than universally infeasible. Guided by this finding, we build \textbf{APEX4}, which co-designs pure INT4 GEMM kernels with $ρ$-aware granularity adaptation to mitigate the CUDA Cores dequantization bottleneck. APEX4 achieves perplexity within 0.63 of FP16 on LLaMA-2-70B and outperforms W4Ax Atom-g128 by 4.0\%--4.4\% in zero-shot accuracy. Deployed as a drop-in replacement in unmodified vLLM, it delivers up to $1.66\times$ end-to-end speedup on L40S ($ρ=8$), and $1.78\times$ on RTX~3090 ($ρ=16$), $2.09\times$ on A40 ($ρ=16$), while recovering A100 ($ρ=64$) to $1.20$--$1.40\times$ via the mixed-granularity mode.
• Abstract（参考訳）: W4A4量子化はINT4 Tensor Coresをフル活用することを約束するが、CUDA Coresのグループの分散化オーバーヘッドは、既存のシステムを混合精度のフォールバックに駆り立てた。 本稿では,SM内計算バランスがこのボトルネックをいかに支配するかについて,最初の系統的研究を行う。 W4A4-g128カーネルは、RTX~3090$ρ=16$でスピードアップするが、0.43$-$0.47\times$ on A100 ($ρ=64$)の計算ボンドシナリオでは、W4A4の可視性を普遍的に実現不可能ではなく、プラットフォーム依存として確立する。 この発見によってガイドされた \textbf{APEX4} は、純粋な INT4 GEMM カーネルを$ρ$-aware の粒度適応で設計し、CUDA Cores の量子化ボトルネックを軽減する。 APEX4 は LLaMA-2-70B 上の FP16 の 0.63 の範囲内でパープレキシティを達成し、0ショット精度で W4Ax Atom-g128 を 4.0 %--4.4 % 上回る。 未修正のvLLMのドロップイン代替としてデプロイされ、L40S(ρ=8$)で1.66\times$のエンドツーエンドスピードアップ、RTX~3090(ρ=16$)で1.78\times$のA40(ρ=16$)で2.09\times$のA40(ρ=64$)で、A100(ρ=64$)で1.20$-1.40\times$の混合粒度モードで回復する。

関連論文リスト

• Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM [0.0]
  ミニマ: NVFP4 W4A4は、GDNを含む496のリニア層である。 NVFP4の16要素ブロックのスケーリングが残ストリームの極端な外れ値の局所化の原因を説明する4つのメカニズムの研究がある。 ハイブリッド LLM の繰り返し半分が量子化し易い理由に関する力学的な説明。
  論文  参考訳（メタデータ） (2026-09-03T17:04:26Z)
• Hand-Written PTX Tensor-Core GEMM Kernels: A Multi-Precision Study on NVIDIA L4 [0.7265954868708899]
  コアカーネルは非同期データ移動から構築された低レベルのPTXパイプラインに依存している。 ほとんどのアプリケーションコードは、WMMA C++ APIを通じて間接的にCoresにアクセスする。 WMMAを手書きのPTXに置き換えるのはいつ頃なのか?
  論文  参考訳（メタデータ） (2026-08-10T18:13:00Z)
• BiKAN: Restoring Collapsed Basis of Binary Kolmogorov--Arnold Networks [6.860988566886594]
  Kolmogorov-Arnold Network(KAN)のバイナリ化は各レイヤで利用可能な関数空間を変更する。 提案するBiKANは,各2進数2のWalsh文字を加算することにより,この問題に対処する。 W1A1では、ビカンは99.48%、84.38%、Mは55.81%、401AR-10は72AR-100である。
  論文  参考訳（メタデータ） (2026-08-02T20:49:59Z)
• ForgettingOT: Certified Speculative Batching from Sinkhorn's Projective Forgetting [0.0]
  固定点ヤコビアン$J_tstar=QP=Pstar P$ の固有モードが厳密な補正テールを制御することを示す。 ForgettingOTは、この非線形ペロン-フロベニウスの事実をシンクホーン問題のストリームの認定執行者に変える。
  論文  参考訳（メタデータ） (2026-07-27T17:59:36Z)
• A Controlled Study of Memory Hierarchy Transitions in Quantum Circuit Simulation on Apple M4 Pro Unified Memory Architecture [0.0]
  状態ベクトル量子回路シミュレーションはメモリ帯域境界である。 Apple M4 Pro Unified Memory Architectureを使ってこの問題に対処する。 ピークストリーミング帯域幅は、連続しないメモリアクセスパターンのシミュレーションスピードアップを予測できないことを示す。
  論文  参考訳（メタデータ） (2026-05-09T08:22:55Z)
• DualTCN: A Physics-Constrained Temporal Convolutional Network for 2 Time-Domain Marine CSEM Inversion [1.2031796234206138]
  DualTCNは、時間領域の海洋電磁制御源(MCSEM)過渡データを反転させるための最初のディープラーニングフレームワークである。 このフレームワークは、4つのアースモデルパラメータを回帰し、微分可能なソフトステップデコーダを用いてプロファイルを再構成する。 このフレームワークは、カリキュラムベースの振幅増大によるノイズに対する高い堅牢性を示し、平均$barR2$ 0.858 at $pm2%$ランダム振幅誤差を維持している。
  論文  参考訳（メタデータ） (2026-05-06T14:58:17Z)
• SlideSparse: Fast and Flexible (2N-2):2N Structured Sparsity [86.71343842875878]
  NVIDIAの2:4 Sparse Coresは2倍のスループットを提供するが、厳しい50%のプルーニングを要求する。 Milder $(2N-2):2N$パターンは正確さを維持しながらハードウェアサポートを受けない。 Sparse Coreアクセラレーションをアンロックする最初のシステムであるSlideSparseを紹介する。
  論文  参考訳（メタデータ） (2026-03-05T14:49:16Z)
• Transform Trained Transformer: Accelerating Naive 4K Video Generation Over 10$\ imes$ [91.61519033897424]
  ネイティブ4Kビデオ生成は、解像度が増大するにつれて、フルアテンションの二次的な計算爆発のため、依然として重要な課題である。 本稿では,前処理ロジックを最適化することで計算要求を大幅に削減する,$textbfT3-Video$と呼ばれる新しいトランスフォーマー補正戦略を提案する。 4K-VBenchの結果は、$textbfT3-Video$が既存のアプローチを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2025-12-15T16:25:39Z)
• Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization [77.67818998672516]
  本研究は,MXFP4とNVFP4の学習後量子化に関する総合的研究である。 本稿では,従来のGPTQ量子化アルゴリズムの変種であるMicro-Rotated-GPTQ(MR-GPTQ)を紹介する。 MR-GPTQは最先端の精度で一致または性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-09-27T09:22:21Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• COMET: Towards Partical W4A4KV4 LLMs Serving [37.30529940231099]
  量子化は、端末デバイスやクラウドデータセンターで大規模言語モデル(LLM)を提供するオーバーヘッドを低減するための圧縮技術である。 本稿では,ほとんどのアクティベーションを4ビットに圧縮し,精度損失を無視できる新しい混合精度量子化アルゴリズム(FMPQ)を提案する。 我々は、最適化されたW4Axカーネルを推論フレームワークCOMETに統合し、人気のあるLLMをサポートするための効率的な管理を提供する。
  論文  参考訳（メタデータ） (2024-10-16T02:16:53Z)
• QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving [52.31791050376249]
  量子化は大規模言語モデル(LLM)の推論を加速させる。 4ビット重み、8ビットアクティベーション、4ビットKVキャッシュを備えたW4A8KV4量子化アルゴリズムQoQを導入する。 QServeは、Llama-3-8BをA100で1.2倍、L40Sで1.4倍、Qwen-721.5BをA100で2.4倍、L40Sで3.5倍、達成可能な最大機能を改善する。
  論文  参考訳（メタデータ） (2024-05-07T17:59:30Z)
• 1$\ imes$N Block Pattern for Network Sparsity [90.43191747596491]
  我々は,この制限を破るために,ブロック間隔パターン(ブロックプルーニング)を1時間で定義する新しい概念を提案する。 このパターンはMobileNet-V2の上位1の精度でフィルタプルーニングよりも約3.0%改善されている。 また、重み付けによるCortex-A7 CPUの56.04msの推論も得る。
  論文  参考訳（メタデータ） (2021-05-31T05:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。