論文の概要: You Only Index Once: Cross-Layer Sparse Attention with Shared Routing

• arxiv url: http://arxiv.org/abs/2606.06467v1
• Date: Thu, 04 Jun 2026 17:54:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:45.020502
• Title: You Only Index Once: Cross-Layer Sparse Attention with Shared Routing
• Title（参考訳）: 一度だけインデックスする:共有ルーティングを伴うクロスレイヤースパースアテンション
• Authors: Yutao Sun, Yanqi Zhang, Li Dong, Jianyong Wang, Furu Wei,
• Abstract要約: 層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
• 参考スコア（独自算出の注目度）: 61.29627714699688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context inference in modern LLMs is increasingly constrained by decoding efficiency, especially in reasoning-heavy settings where models generate long intermediate chains of thought. Existing sparse attention methods often face a practical efficiency-quality trade-off. Structured block sparse methods typically provide stronger acceleration but incur noticeable quality loss, while token sparse methods are usually more accurate yet deliver limited end-to-end speedup because top-k routing over the full cache remains expensive. In this work, we propose cross-layer sparse attention (CLSA), which is built on top of KV-sharing architectures such as YOCO. The core idea is to share not only the KV cache across cross-decoder layers, but also the routing index. A single indexer computes token-level top-k selection once and reuses the resulting index across layers, thereby preserving the fine-grained selectivity of token sparse attention while amortizing the routing overhead. The resulting architecture improves all major inference bottlenecks jointly, including pre-filling, KV-cache storage, and long-context decoding. Experiments across short-context and long-context benchmarks show that CLSA is both accurate and efficient, achieving up to 7.6x decoding speedup and 17.1x overall throughput improvement at 128K context. These results suggest a more complete architectural solution for long-context LLMs that jointly advances model quality and inference efficiency.
• Abstract（参考訳）: 現代のLLMにおける長文推論は、特にモデルが長い中間的思考連鎖を生成する推論重な設定において、復号効率によってますます制約される。 既存のスパースアテンション手法は、しばしば実用的な効率性のトレードオフに直面している。 構造化ブロックスパース法は、一般的により強い加速度を与えるが、顕著な品質損失をもたらすが、トークンスパース法は、通常より正確であるが、フルキャッシュ上のトップkルーティングは高価であるため、エンド・ツー・エンドのスピードアップが制限される。 本研究では, YOCO などの KV 共有アーキテクチャ上に構築された CLSA (cross-layer sparse attention) を提案する。 コアアイデアは、クロスデコーダ層にまたがるKVキャッシュだけでなく、ルーティングインデックスを共有することだ。 シングルインデクサは、トークンレベルのトップk選択を一度計算し、結果のインデックスを層間で再利用することにより、ルーティングオーバーヘッドを償却しつつ、トークンスパース注意のきめ細かい選択性を保存する。 結果として得られたアーキテクチャは、プリフィル、KV-cacheストレージ、ロングコンテキストデコーディングなど、すべての主要な推論ボトルネックを共同で改善する。 短いコンテキストと長いコンテキストのベンチマークによる実験では、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループットを128Kコンテキストで達成している。 これらの結果から,モデル品質と推論効率を協調的に向上する長文LLMに対する,より完全なアーキテクチャソリューションが示唆された。

関連論文リスト

• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• DepthKV: Layer-Dependent KV Cache Pruning for Long-Context LLM Inference [11.462434448123169]
  感性に基づいて,各層に固定されたグローバルKV予算を割り当てる階層依存型プルーニングフレームワークを提案する。 複数のモデルとタスクにわたって、DepthKVは、同じグローバルプルーニング比で一様プルーニングを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-04-27T16:15:37Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• CSAttention: Centroid-Scoring Attention for Accelerating LLM Inference [3.1255988998610307]
  CSAttention(Centroid-Scoring Attention)は、高スループットコンテキストに最適化された訓練不要のスパースアテンション手法である。 計算処理を1回のオフラインプリフィルフェーズにフロントロードし、複数のクエリでアモートできる。 モデル精度と推論速度の両方において、最先端のスパースアテンション手法より一貫して優れている。
  論文  参考訳（メタデータ） (2026-03-30T01:42:29Z)
• LycheeCluster: Efficient Long-Context Inference with Structure-Aware Chunking and Hierarchical KV Indexing [29.284917403504352]
  効率的なKVキャッシュ管理のための新しい手法であるLycheeClusterを提案する。 LycheeClusterは境界対応のチャンキングを通じて局所的な意味的コヒーレンスを保持し、三角形の不等式に根ざした階層的指数を構成する。 実験により、LycheeClusterはモデル性能の無視可能な劣化を伴う、最大3.6倍のエンドツーエンドの推論スピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2026-03-09T14:50:35Z)
• LServe: Efficient Long-sequence LLM Serving with Unified Sparse Attention [26.54297116028556]
  大規模言語モデル(LLM)は、長いシーケンスや複雑な推論タスクの処理において顕著な可能性を示している。 LServeは,ハイブリッドスパースアテンションにより長周期LLMサービスを高速化する,効率的なシステムである。 LServeはLLMプリフィルを最大2.9倍加速し、vLLMで1.3-2.1倍デコードする。
  論文  参考訳（メタデータ） (2025-02-20T18:59:52Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• TreeKV: Smooth Key-Value Cache Compression with Tree Structures [19.06842704338332]
  TreeKVは、スムーズなキャッシュ圧縮のためにツリー構造を利用するトレーニング不要の手法である。 PG19とOpenWebText2の言語モデリングタスクのベースラインモデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-09T06:00:27Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。