論文の概要: Where Activation Sparsity and KV-Cache Sparsity Cross in LLM Decoding

• arxiv url: http://arxiv.org/abs/2609.33889v1
• Date: Sun, 27 Sep 2026 20:11:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 15:52:41.803336
• Title: Where Activation Sparsity and KV-Cache Sparsity Cross in LLM Decoding
• Title（参考訳）: LLM復号におけるアクティベーション・スパシティとKVキャッシュ・スパシティが交差する場所
• Abstract要約: 2つのブランチとその構成を2つのGPU上で2Kから128Kトークンに記録します。 2つの貯蓄が等しい文脈長であるバイトクロスオーバーと、各分岐に対する理想的なスピードアップ境界を導出する。 スプリットK注意の代わりにマスク付きで高密度ベースラインをタイミングさせることで、同じKVポリシーの約5倍のスピードアップが膨らむ。
• 参考スコア（独自算出の注目度）: 25.41362943884425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: At each step, decoding one sequence with a large language model rereads the projection weights, whose traffic is fixed, and the key-value (KV) cache, whose traffic grows with context. Activation sparsity trims the first term and KV-cache sparsity the second, yet their reported speedups are hard to compare because each depends on context length and on the dense attention kernel it is measured against. We derive a byte crossover, the context length at which the two savings are equal, together with ideal speedup bounds for each branch and for their composition, from model dimensions and keep ratios alone. We then time both branches and their composition from 2K to 128K tokens on two GPUs after a dense prefill of real text, with dense and sparse modes reading the cache through the same split-K attention kernel. The projection branch leads at short context and the KV branch at long context, with speedups that follow their byte bounds up to fixed kernel costs. Adding these costs, measured in separate sweeps, lets the byte account predict the measured crossings of three keep-ratio pairs, a second model, and a second GPU to within 4.1K tokens. Timing the dense baseline with masked instead of split-K attention inflates the apparent speedup of the same KV policy about fivefold. An attention-scored KV selection answers the same passkey and multi-key placements as dense decoding up to 127K tokens, whereas a KV window misses most of them. Under matched perplexity budgets, activation sparsity composed with this selection decodes 14 to 26% faster than the best single branch on both GPUs. Code is available at https://github.com/js-lee-AI/ByteCross.
• Abstract（参考訳）: 各ステップで、大きな言語モデルで1つのシーケンスをデコードすると、トラフィックが固定されたプロジェクションウェイトと、トラフィックがコンテキストに応じて増加するキー値(KV)キャッシュが読み込まれる。 活性化間隔は、第1項と第2項のKV-cache間隔をトリミングするが、それらの報告されたスピードアップは、それぞれがコンテクストの長さと、それに対して測定される高密度の注目カーネルに依存するため、比較が難しい。 2つの貯蓄が等しいコンテキスト長であるバイトクロスオーバーを、モデル次元から各枝とそれらの構成に対する理想的なスピードアップ境界とともに導き出す。 次に,2つのGPU上の2Kトークンから128Kトークンまでの分岐と合成を,同一のスプリット-Kアテンションカーネルを通じてキャッシュを読み取る,濃密でスパースなモードで処理する。 プロジェクションブランチは短いコンテキストと長いコンテキストでKVブランチを導く。 これらのコストを別々のスイープで測定することで、バイトアカウントは3つの保留比ペア、第2のモデル、第2のGPUの4.1Kトークンへの交差を予測できる。 スプリットK注意の代わりにマスク付きで高密度ベースラインをタイミングさせることで、同じKVポリシーの約5倍のスピードアップが膨らむ。 注意マーク付きKV選択は117Kトークンまでの高密度復号化と同じパスキーとマルチキーの配置に答えるが、KVウィンドウはそのほとんどを見逃す。 一致したパープレキシティ予算の下では、この選択で構成されたアクティベーション空間は、両方のGPU上の最高の単一ブランチよりも14～26%高速にデコードされる。 コードはhttps://github.com/js-lee-AI/ByteCross.comで入手できる。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• MAC-Attention: a Match-Amend-Complete Scheme for Fast and Accurate Attention Computation [3.7219056810346594]
  我々は、事前の注意計算を再利用して復号化を加速する、フィデリティとアクセス保存の代替であるMAC-Attentionを導入する。 ショートローカルウィンドウ上で事前RoPE L2マッチングを実行するマッチステージから始まる。 修正段階は、マッチ境界付近の小さなバンドを再計算することにより、再利用された注意を補正する。 完全なステージは、数値的に安定なマージを介してKVテールで計算された新しい注意で修正結果を融合する。
  論文  参考訳（メタデータ） (2026-03-31T20:57:23Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression [10.003118268356017]
  ロングコンテキストは推論効率に重大な課題をもたらす。 本稿では,意味クラスタの粒度でトークンをリコールするClusterKVを紹介する。 実験結果から、ClusterKVは32kのコンテキスト長を持つ様々なタスクにおいて、無視可能な精度の損失が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T10:58:27Z)
• Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity [24.118503938098307]
  textscPoDはトークンの重要度に応じてメモリを割り当てる。 textscPoDは、パフォーマンスを損なうことなく、KVキャッシュメモリ使用量を最大35%削減する。
  論文  参考訳（メタデータ） (2024-12-03T08:29:27Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。