論文の概要: StrataFlux: Memory-Hierarchy-Native Low-Bit LLM Inference
- arxiv url: http://arxiv.org/abs/2611.08363v1
- Date: Thu, 05 Nov 2026 17:42:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.605056
- Title: StrataFlux: Memory-Hierarchy-Native Low-Bit LLM Inference
- Title（参考訳）: StrataFlux: メモリヒエラルキー非負の低ビットLPM推論
- Abstract要約: StrataFluxは、リファインメント表現、セレクション、デリバリを共同設計して、ホストRAMとソリッドステートを、さらなる精度の有用なソースとする。
2ビットのLlama-3.1-8B-インストラクトウェイトの場合、StrataFluxはWikiText-2の複雑さを9.46から8.40に減らし、量子化されたベースのスループットの95.4%を維持している。
2ビットの重みとKVにより、StrataFluxはQwen3-8BのAIME 2024/2025の精度を11.0%から47.1%に引き上げる。
- 参考スコア（独自算出の注目度）: 15.200245006566945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantization reduces the memory and bandwidth demands of large language model (LLM) inference but can degrade accuracy; offloading higher-precision data can instead stall generation. We introduce StrataFlux, a framework that challenges this tradeoff by recovering accuracy lost to low-bit weight and key-value (KV) cache quantization while retaining quantization's memory and speed advantages. StrataFlux co-designs refinement representation, selection, and delivery to make host RAM and solid-state drives useful sources of additional precision. Its selective precision streaming reduces transfer volume, overlaps delivery with computation, and reuses fetched precision across decoding steps so generation need not wait for every transfer. We evaluate 2-4-bit weights and 2-3-bit KV-cache on dedicated GPUs and unified-memory platforms. For 2-bit Llama-3.1-8B-Instruct weights, StrataFlux reduces WikiText-2 perplexity from 9.46 to 8.40 while maintaining 95.4% of the quantized base's throughput on RTX 5090. With 2-bit weights and KV, StrataFlux raises Qwen3-8B's AIME 2024/2025 accuracy from 11.0% to 47.1% at unchanged GPU memory use. At 128K context, Llama-3.1-8B-Instruct with 3-bit weights and 2-bit KV achieves comparable perplexity and speed to vLLM's 4-bit AWQ weights and 8-bit KV on RTX 5090, using approximately half the GPU memory. These results show that GPU-resident precision need not set the accuracy ceiling, nor offloading-tier latency dictate decoding speed.
- Abstract（参考訳）: 量子化は、大きな言語モデル(LLM)推論のメモリと帯域幅の要求を減らすが、精度を低下させる可能性がある。
量子化のメモリと速度の優位性を保ちながら、低ビット重みとキー値(KV)キャッシュ量子化に失われた精度を回復することで、このトレードオフに挑戦するフレームワークであるStrataFluxを紹介する。
StrataFluxは、リファインメント表現、セレクション、デリバリを共同設計して、ホストRAMとソリッドステートを、さらなる精度で有用なソースとする。
その選択精度のストリーミングは転送量を削減し、配信と計算の重なりを減らし、デコードステップ間でフェッチされた精度を再利用する。
専用GPUと統一メモリプラットフォーム上で,2-4ビットの重みと2-3ビットのKVキャッシュを評価した。
2ビットのLlama-3.1-8B-インストラクトウェイトの場合、StrataFluxはWikiText-2の難易度を9.46から8.40に削減し、RTX 5090の量子化されたベーススループットの95.4%を維持している。
2ビットの重みとKVにより、StrataFluxはQwen3-8BのAIME 2024/2025の精度を11.0%から47.1%に引き上げる。
128Kの文脈で、Llama-3.1-8B-インストラクトは3ビットの重みと2ビットのKVを持ち、約半分のGPUメモリを使用して、vLLMの4ビットのAWQ重みとRTX 5090上の8ビットのKVに匹敵する複雑さと速度を達成する。
これらの結果から,GPU常駐精度は精度の上限を設定する必要はなく,オフロード層遅延が復号速度を規定することがわかった。
関連論文リスト
- RoofGS: Roofline-Guided End-to-End Acceleration of 3D Gaussian Splatting [20.838595758539498]
RoofGSは、一般的なカーネルアクセラレーションではなく、ボトルネック固有の最適化を適用するレンダリングフレームワークである。
実験の結果、RoofGSは指数指数指数4090よりも10.1ドルのエンドツーエンドのスピードアップを達成した。
論文 参考訳（メタデータ） (2026-08-16T15:06:39Z) - BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。
本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。
実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
論文 参考訳（メタデータ） (2026-04-05T04:25:07Z) - CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。
まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。
提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
論文 参考訳（メタデータ） (2025-06-23T17:50:11Z) - BitDecoding: Unlocking Tensor Cores for Long-Context LLMs with Low-Bit KV Cache [7.306651609758117]
我々は、低ビットKVキャッシュを備えた新しい長文LLM推論システムBitDecodingを提案する。
BitDecodingはCoresとCores Coresを活用することで、効率的な低ビットのKV-cacheデコーディングを可能にする。
BitDecoding は FP16-v2 上で 7.5x と 4.8x と 8.9x のデコーディングを高速化し、最先端のロービットシステム QLaMA-31-8B を上回る。
論文 参考訳（メタデータ） (2025-03-24T15:22:41Z) - KurTail : Kurtosis-based LLM Quantization [51.24081396305435]
KurTailは、大規模言語モデルのアクティベートにおいて、アウトレーヤを緩和する、新しいトレーニング後の量子化スキームである。
MMLUの精度は13.3%向上し、Wikiの難易度はQuaRotに比べて15.5%低下している。
また、SpinQuantを2.6%のMMLUゲインで上回り、パープレキシティを2.9%削減し、トレーニングコストを削減した。
論文 参考訳（メタデータ） (2025-03-03T12:43:06Z) - SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。
この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。
We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
論文 参考訳（メタデータ） (2024-11-07T18:59:58Z) - Fast and Efficient 2-bit LLM Inference on GPU: 2/4/16-bit in a Weight Matrix with Asynchronous Dequantization [14.201092042777299]
大規模言語モデル(LLM)は、推論コストが高価である間、様々な領域で印象的な能力を示してきた。
2ビットの単精度重み量子化を適用すると、3%の精度が失われる。
本稿では,各重み行列に対する混合精度量子化と,推論時の非同期dequantizationを提案する。
論文 参考訳（メタデータ） (2023-11-28T02:44:59Z) - SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight
Compression [76.73007709690306]
Sparse-Quantized Representation (SpQR) は,新しい圧縮フォーマットと量子化技術である。
SpQRは、高精度なLLaMAとFalcon LLMのパープレキシティにおいて、1%未満の相対的精度の損失を達成している。
これにより、1台の24GBのコンシューマGPU上で33BパラメータのLSMを実行でき、15%のスピードアップでパフォーマンスの劣化は発生しない。
論文 参考訳（メタデータ） (2023-06-05T17:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。