論文の概要: Joint Subspace Sparse Attention for Efficient Long-Context Decoding

• arxiv url: http://arxiv.org/abs/2610.19026v1
• Date: Tue, 13 Oct 2026 18:18:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.742547
• Title: Joint Subspace Sparse Attention for Efficient Long-Context Decoding
• Title（参考訳）: 高精度長文復号化のための部分空間分割アテンション
• Abstract要約: トークンレベルの選択のために,JSSA(Joint Subspace Sparse Attention)を導入する。 JSSAはトークンスコアエラーを最小限にして、共有低次元のクエリレベル部分空間を学習する。 NVIDIA B200 GPUでは、JSSAは最大6.43ドルのデコードスループットを128Kコンテキストで達成している。
• 参考スコア（独自算出の注目度）: 9.678190958232024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse attention reduces the KV-cache traffic that dominates long-context LLM decoding, but practical methods largely operate at coarse granularity. Token-level selection offers finer control, yet presents two challenges: low-dimensional scoring may lose query--key structure needed for accurate ranking, while gathering scattered selected tokens can offset the resulting latency benefit. We introduce Joint Subspace Sparse Attention (JSSA) to address both challenges. For selection quality, JSSA learns a shared low-dimensional query--key subspace by minimizing token-score preservation error. We upper-bound the resulting non-convex objective with a tractable marginal objective that admits a closed-form spectral solution; direct refinement of the exact objective provides no measurable improvement in the tested settings. For execution efficiency, we develop a gather-free token-level indexed-attention kernel that supports distinct per-KV-head selections under the standard grouped-query attention (GQA) KV-cache layout. Across standard GQA, hybrid sliding-window/global attention, and Multi-head Latent Attention (MLA) models, JSSA consistently remains close to full-KV accuracy while avoiding the substantial generation-length inflation and architecture-dependent failures observed with competing methods. On an NVIDIA B200 GPU, JSSA achieves up to $6.43\times$ the decoding throughput of full-KV attention at 128K context. JSSA achieves reasoning accuracy comparable to model-native DSA without model training and reaches 96--99\% of its decoding throughput even at 700B scale large models.
• Abstract（参考訳）: スパースアテンションは、長いコンテキストのLLMデコードを支配するKV-cacheトラフィックを減らすが、実際は粗い粒度で運用される。 低次元のスコアリングは、正確なランク付けに必要なクエリキー構造を失う可能性があるが、分散された選択トークンは、結果として生じるレイテンシの利点を相殺することができる。 両課題に対処するため,JSSA(Joint Subspace Sparse Attention)を導入する。 選択品質のために、JSSAはトークンスコア保存誤差を最小化し、共有の低次元クエリーキー部分空間を学習する。 得られた非凸目標を、閉形状のスペクトル解を許容する抽出限界目標で上界に覆い、正確な目的の直接改善は、テスト設定において測定可能な改善を与えない。 実行効率向上のために,GQA (Ganded-query attention) KV-cacheレイアウトの下で,KVあたりの異なる選択をサポートする集合フリーなトークンレベルインデックス付きアテンションカーネルを開発した。 標準GQA、ハイブリッド・スライディングウインドウ/グローバル・アテンション、マルチヘッド遅延注意(MLA)モデル全体において、JSSAは競合する手法で観測される実質的な世代長のインフレーションとアーキテクチャ依存の失敗を回避しつつ、常にフルKV精度に近づいたままである。 NVIDIA B200 GPU上では、JSSAは最大6.43\times$128KコンテキストでのフルKVアテンションの復号スループットを達成している。 JSSAはモデルトレーニングなしでモデルネイティブDSAに匹敵する推論精度を達成し、700Bスケールの大規模モデルでも復号スループットの96--99\%に達する。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• Coverage-Driven KV Cache Eviction for Efficient and Improved Inference of LLM [12.14455026524814]
  大きな言語モデル(LLM)は、質問応答や要約のような複雑なタスクに優れています。 既存のKV-cache消去戦略は、トークンのサブセットを選択的に格納するために注意の疎さを活用する。 K-VECは、キャッシュ内のトークンを排除しながらトークンのカバレッジを優先する、新しいカバレッジ対応KV-cache消去戦略である。
  論文  参考訳（メタデータ） (2026-06-28T19:04:47Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction [50.99402504483692]
  凍結重み付き言語モデルのための新しいゲーティングベースのKVキャッシュ消去手法を提案する。 私たちのアプローチは、プリフィルとデコードの両方の段階にシームレスに統合されます。 実験の結果,KVキャッシュの最大70%を除去しながら,ほぼ無作為な性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-01-25T03:07:54Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• Long-Context Modeling with Dynamic Hierarchical Sparse Attention for On-Device LLMs [17.499497967319332]
  データ駆動型フレームワークであるDynamic Hierarchical Sparse Attention (DHSA)を導入する。 DHSAは高い注意力と精度を一致させ、プリフィル遅延を20-60%削減し、ピークメモリ使用量を35%削減した。 Needle-in-a-Haystack Test と LongBench を用いたGemma2 実験では,DHSA の精度は高いが,プリフィル遅延は20～60%,ピークメモリ使用量は35%削減された。
  論文  参考訳（メタデータ） (2025-10-28T16:34:18Z)
• Activation-aware Probe-Query: Effective Key-Value Retrieval for Long-Context LLMs Inference [56.71209737306054]
  我々は,プローブ-textbfQuery を動的に決定し,関連する textbfKV ペアを推論するために利用する,トレーニングフリーの textbfActivation-aware アプローチである textbfActQKV を提案する。 Long-Bench と $infty$ Benchmarks の実験では、競合する推論品質とリソース効率を備えた最先端のパフォーマンスが実証されている。
  論文  参考訳（メタデータ） (2025-02-19T08:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。