論文の概要: Jet-QSparse: Accelerating Agentic LLM Inference with 4-Bit Sparse Attention

• arxiv url: http://arxiv.org/abs/2611.01022v1
• Date: Sat, 31 Oct 2026 15:06:46 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:18:19.321941
• Title: Jet-QSparse: Accelerating Agentic LLM Inference with 4-Bit Sparse Attention
• Title（参考訳）: Jet-QSparse: 4ビットスパース注意によるエージェントLDM推論の高速化
• Abstract要約: Jet-QSparseは、コンパクトなNVFP4キャッシュストレージとBlackwellテンソルコア上のネイティブなFP4クエリキー計算を組み合わせた、トレーニング不要の手法である。 濃密スキャンは、全鍵履歴をスコアし、FP32蓄積を伴うスパースFP16値アグリゲーションのための128のトークンブロックを選択する。 KVヘッドあたり128ブロックの予算は、評価された数学的推論、コーディング、エージェントベンチマークにおいて、検出された精度の損失を示さない。
• 参考スコア（独自算出の注目度）: 30.747176269266216
• License:
• Abstract: Long-horizon reasoning and agentic workloads strain KV-cache capacity and decode attention throughput. We present Jet-QSparse, a training-free method that combines compact NVFP4 cache storage with native FP4 query-key computation on Blackwell tensor cores. A dense scan scores the full key history and selects 128-token blocks for sparse FP16 value aggregation with FP32 accumulation, preserving higher precision in the output-forming step while enabling contiguous tile loads. Calibrated key centering and at most two BF16 pages per sequence and layer address quantization error; FP8 prefill uses a temporary arena while the persistent cache is packed directly from BF16 activations. Across four hybrid LLMs, a budget of 128 blocks per KV head shows no detected accuracy loss on the evaluated mathematical reasoning, coding, and agentic benchmarks, although some smaller budgets incur losses. With 64 blocks, Qwen3.8-27B achieves a $1.94\times$ end-to-end decode speedup over dense BF16 at 128K context and batch size 16 on one GB300, and the measured Qwen KV pools provide $2.58$-$2.76\times$ BF16's token capacity.
• Abstract（参考訳）: ロングホライズン推論とエージェントワークロードはKVキャッシュ容量を制約し、アテンションスループットをデコードする。 我々は、コンパクトなNVFP4キャッシュストレージとBlackwellテンソルコア上のネイティブなFP4クエリキー計算を組み合わせた、トレーニング不要なJet-QSparseを提案する。 濃密スキャンは、全鍵履歴をスコアし、FP32蓄積によるスパースFP16値アグリゲーションのための128Tokenブロックを選択し、連続したタイル負荷を可能とし、出力生成ステップの精度を高くする。 FP8プリフィルは一時的なアリーナを使用し、永続キャッシュはBF16アクティベーションから直接パッケージされる。 4つのハイブリッドLLMにおいて、KVヘッド当たりの予算は128ブロックであり、評価された数学的推論、コーディング、エージェントベンチマークの精度損失は検出されなかった。 64ブロックで、Qwen3.8-27Bは128Kの高密度BF16上の1.94\times$エンド・ツー・エンドのデコードスピードアップと1GB300のバッチサイズ16を達成し、測定値のQwen KVプールは2.58$-$2.76\times$BF16のトークン容量を提供する。

関連論文リスト

• Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization [73.31438661879197]
  Gemma 4 E4B のパラメータの35.2%を占める Per-Layer Embeddings (PLE) の極端な圧縮について検討した。 このような速度で、従来の量化器は各トークン層ベクトルに数バイトの独自の符号を与える。 我々は,トークン毎に1つの量子化されたコードを格納し,それを各層でデコードするOPTIC-Output-Path-fited,Token-Shared Indexed Codesを開発した。
  論文  参考訳（メタデータ） (2026-10-22T14:07:01Z)
• FuTransformer: FP8 prefill and INT4 decode for Llama-style inference on Hopper [3.565474315629056]
  Transformer Prefillはトークン間のウェイトを再利用し、行列計算とアクティベーションデータの動きによって支配される。 シングルトーケンは再利用が限られており、重量とKVキャッシュの読み取りが支配的である。 本稿では,NVIDIAホッパー用のLlama型トランスフォーマーブロックのATRANSFORMERデコード実装について述べる。
  論文  参考訳（メタデータ） (2026-10-16T17:22:01Z)
• Read What Matters: Query-Adaptive Quantization for KV Caches [6.942025710859187]
  KV-cacheエントリは、将来のクエリが知られる前に格納されるが、それぞれのデコードクエリは、異なる場所で精度を必要とする。 我々はこのミスマッチを,クエリ毎に取得した保持ビットとビットに対して,個別の予算を用いて検討する。 各クエリに対して、ReadKVはクエリを使用してキーチャネルのプレフィックスを割り当て、再構成されたキーから注意を計算し、そのアテンションを使用してバリュートークンのプレフィックスを割り当てる。
  論文  参考訳（メタデータ） (2026-10-08T04:47:41Z)
• DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression [354.65055709450576]
  DeepSeek-V4.1-Flashは,552Bのバックボーンパラメータを持つマルチモーダルMixture-of-Experts(MoE)モデルで,最大100万トークンのコンテキストをサポートする。 Causal-Decoder (CED) アーキテクチャでは、デコード時にトークン毎に16Bパラメータを起動するが、プリフィル時に8Bパラメータしか有効にせず、エージェントワークロードのコスト効率を大幅に向上する。
  論文  参考訳（メタデータ） (2026-09-17T09:43:10Z)
• From Bit-Position Sensitivity to Unequal Error Protection for DNN Inference Memory [0.4610618579893946]
  16のワークロードにわたるML推論において,ビット位置当たりの故障感度を特徴付ける。 我々の中心的な経験的発見は、シャープなビット感度遷移である: 決定論的単一ビットストレステストの下で、データタイプ固有のしきい値であるXsafeに、最も重要でない分数ビットのいずれかをめくって、タスクメトリクスを1%以下に低下させる。
  論文  参考訳（メタデータ） (2026-07-21T23:07:56Z)
• RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
  Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。 これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。 128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
  論文  参考訳（メタデータ） (2026-06-23T00:17:48Z)
• XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference [0.0]
  XFPはコードブックのサイズ、アウトリーチ予算、レイヤごとのパッケージを自動的に決定する。 XFPはワークステーションハードウェア上で128 tok/sのシングルストリームデコードに達する。 対象メモリエンベロープに収まらないモデルに対しては、H-Processを示す。
  論文  参考訳（メタデータ） (2026-05-14T13:52:31Z)
• Speeding Up MACE: Low-Precision Tricks for Equivarient Force Fields [51.95157731126864]
  機械学習力場は高い計算コストで正確な分子動力学(MD)を提供することができる。 この論文は、計算ボトルネックを特定し、低精度の実行ポリシーを評価することで、MACEを安価かつ高速にすることを目的としている。
  論文  参考訳（メタデータ） (2025-10-23T14:02:34Z)
• XQuant: Breaking the Memory Wall for LLM Inference with KV Cache Rematerialization [58.92253769255316]
  LLM推論はメモリフットプリントと帯域幅の要求のために困難である。 XQuantは、ハードウェアプラットフォームの急速に増加する計算能力を利用して、メモリボトルネックを取り除く。 XQuant-CLは、極端な圧縮のためにX埋め込みの層間類似性を利用する。
  論文  参考訳（メタデータ） (2025-08-14T06:52:38Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。