論文の概要: HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing
- arxiv url: http://arxiv.org/abs/2609.26368v1
- Date: Tue, 22 Sep 2026 13:10:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.384212
- Title: HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing
- Title（参考訳）: HySparse2: 2レベルKV共有によるハイブリッドスパースアテンション
- Abstract要約: HySparse2は2段階のKV共有を有するハイブリッドスパースアテンションアーキテクチャである。
外側では、KVブリジングブリッジはフルアテンション層のみである。
内部レベルでは、HySparse2は2つの改良が施されたHySparseのコアKV Reuse設計を維持している。
- 参考スコア（独自算出の注目度）: 25.32079620612505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon and multi-turn agents typically generate short actions and process long observations from tools and environments. This growing context demands efficient prefill, compact KV-cache storage, and accurate long-context retrieval. To meet these demands, we introduce HySparse2, a hybrid sparse attention architecture with two-level KV sharing. At the outer level, KV Bridging adopts a YOCO-style self-decoder and cross-decoder structure, but bridges only full-attention layers. The self-decoder uses hybrid sliding-window attention (SWA), while the cross-decoder uses hybrid sparse attention. The KV caches for full-attention layers in the cross-decoder are generated from the hidden states of full-attention layers in the self-decoder. At the inner level, HySparse2 retains HySparse's core KV Reuse design with two refinements. First, it replaces block-level sparsity with token-level sparsity for finer long-context retrieval. Second, it removes the separate SWA branch from sparse layers and instead forces a sliding window of recent tokens into the sparse selection. This two-level KV sharing allows all cross-decoder KV caches to be constructed from self-decoder hidden states. Prefill can therefore exit after the self-decoder, skipping all cross-decoder layers. On an 80B-A3B MoE model, HySparse2 outperforms HySparse and Hybrid SWA on long-context retrieval and multi-turn agentic tasks, while substantially reducing prefill computation and KV-cache storage.
- Abstract（参考訳）: ロングホライゾンとマルチターンエージェントは通常、短いアクションを生成し、ツールや環境からの長い観察を処理する。
この増大するコンテキストは、効率的なプリフィル、コンパクトなKVキャッシュストレージ、正確な長文検索を必要とする。
これらの要求を満たすために、2レベルKV共有を備えたハイブリッドスパースアテンションアーキテクチャであるHySparse2を導入する。
外部レベルでは、KV BridgingはYOCOスタイルのセルフデコーダとクロスデコーダ構造を採用しているが、ブリッジは完全なアテンション層のみである。
自己デコーダはハイブリッド・スライディングウインドウ・アテンション(SWA)を使用し、一方クロス・デコーダはハイブリッド・スパース・アテンションを使用する。
クロスデコーダのフルアテンションレイヤ用のKVキャッシュは、自己デコーダのフルアテンションレイヤの隠れ状態から生成される。
内部レベルでは、HySparse2は2つの改良が施されたHySparseのコアKV Reuse設計を維持している。
まず、ブロックレベルの空間をトークンレベルの空間に置き換えて、より微細な長文検索を行う。
次に、分離されたSWAブランチをスパース層から削除し、代わりに最近のトークンのスライドウィンドウをスパースセレクションに強制する。
この2レベルKV共有により、すべてのクロスデコーダKVキャッシュを自己デコーダ隠れ状態から構築することができる。
したがって、Prefillは自己デコーダの後に終了し、すべてのクロスデコーダレイヤをスキップすることができる。
80B-A3B MoEモデルにおいて、HySparse2はHySparseとHySparseとHybrid SWAより長文検索やマルチターンエージェントタスクで優れ、プリフィル計算とKV-cacheストレージを大幅に削減する。
関連論文リスト
- HiKV: Hierarchical Importance-Aware KV Cache with Hardware Acceleration for LLM Decoding [6.5805487988920355]
HiKVは階層的な重要度認識を通じてKVキャッシュ冗長性を利用する。
我々は、再構成可能な重要度ソータを中心とした専用アクセラレーターを開発する。
HiKVは最大7.95倍のスピードアップと90%のエネルギー削減を実現している。
論文 参考訳（メタデータ） (2026-07-24T15:15:10Z) - End-to-End Context Compression at Scale [81.70601323130997]
長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。
KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。
既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
論文 参考訳（メタデータ） (2026-06-08T15:43:16Z) - DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。
DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。
実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
論文 参考訳（メタデータ） (2026-02-08T15:14:36Z) - HySparse: A Hybrid Sparse Attention Architecture with Oracle Token Selection and KV Cache Sharing [25.110428141134246]
HySparseは新しいアーキテクチャで、各注意層をスパースアテンション層でインターリーブする。
7B高密度モデルと80BMoEモデルの両方でHySparseを評価した。
論文 参考訳（メタデータ） (2026-02-03T14:05:57Z) - OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。
OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。
オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
論文 参考訳（メタデータ） (2025-09-25T21:42:27Z) - xKV: Cross-Layer SVD for KV-Cache Compression [8.250015628919098]
長いコンテキストウィンドウを持つ大規模言語モデル(LLM)は強力なアプリケーションを実現するが、メモリ消費のコストがかかる。
近年の研究では、KV-cacheを複数の層から共有表現にマージする試みが試みられている。
支配的な特異ベクトルは、KV-Cacheの複数の層に驚くほどよく整合していることが分かる。
xKVは複数のレイヤのKVキャッシュを共有低ランクサブスペースに統合し、KVキャッシュのサイズを大幅に削減する。
論文 参考訳（メタデータ） (2025-03-24T17:06:37Z) - RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression [25.190765258589707]
トレーニング不要なKVキャッシュ圧縮戦略であるRocketKVについて述べる。
第1段階では、入力シーケンストークンに対して粗粒永久KVキャッシュ消去を行う。
第2段階では、微粒のトップkスパースアテンションを行うために、ハイブリッドスパースアテンション方式を採用する。
論文 参考訳（メタデータ） (2025-02-19T19:12:46Z) - KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。
実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。
我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
論文 参考訳（メタデータ） (2024-10-24T08:06:41Z) - Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。
我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。
認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
論文 参考訳（メタデータ） (2023-10-03T05:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。