論文の概要: SparseEngine: Sparse-First Inference Engine

• arxiv url: http://arxiv.org/abs/2609.39068v1
• Date: Wed, 30 Sep 2026 06:05:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.2682
• Title: SparseEngine: Sparse-First Inference Engine
• Title（参考訳）: SparseEngine: スパースファースト推論エンジン
• Abstract要約: 長文LLMエージェントは、KVキャッシュメモリとアテンション計算を歪ませる相互作用履歴を蓄積する。 提案するSparseEngineは,各メソッドがKV表現を制御可能な,ベースアップされたスパースファースト推論エンジンである。 SparseEngineは4つのカテゴリにまたがる15のメソッドをサポートし、Chain Cacheを通じて状態管理のクロスリクエストを可能にする。
• 参考スコア（独自算出の注目度）: 13.424187319398238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context LLM agents accumulate interaction histories that strain KV-cache memory and attention computation. Although sparse attention reduces these costs, heterogeneous cache representations and workflows hinder integration with existing inference engines, while prior sparse-serving abstractions support only specific layouts or workflows. We present SparseEngine, a ground-up, sparse-first inference engine whose shared lifecycle contract lets each method control its KV representation and computation while coordinating state transitions with common serving infrastructure. SparseEngine supports 15 methods across four categories and enables cross-request state management through Chain Cache, which resumes KV-eviction methods from retained history, and controllable Prefix-Cache Pruning, which removes KV from selected history regions while preserving logical-prefix matching. While maintaining method quality, SparseEngine delivers over 10x higher throughput with KV eviction, over 2.5x faster decoding at matched concurrency than vLLM, and over 2x end-to-end speedup on agent benchmarks. The code is available at https://github.com/CURRENTF/SparseEngine.
• Abstract（参考訳）: 長文LLMエージェントは、KVキャッシュメモリとアテンション計算を歪ませる相互作用履歴を蓄積する。 スパースアテンションはこれらのコストを削減するが、ヘテロジニアスなキャッシュ表現とワークフローは既存の推論エンジンとの統合を妨げる一方、以前のスパースサービス抽象化は特定のレイアウトやワークフローのみをサポートする。 SparseEngineは,共有ライフサイクル契約によって各メソッドがKV表現と計算を制御できると同時に,共通サービスインフラストラクチャとの状態遷移をコーディネートする,ベースアップでスパースファーストな推論エンジンである。 SparseEngineは4つのカテゴリにまたがる15のメソッドをサポートし、保持された履歴からKV消去メソッドを再開するChain Cacheによるクロスリクエスト状態管理と、選択された履歴領域からKVを削除し、論理的なプリフィックスマッチングを保存するコントロール可能なPrefix-Cache Pruningを実現する。 メソッドの品質を維持しながら、SparseEngineはKVの排除により10倍以上のスループットを提供し、一致した並行処理ではvLLMより2.5倍高速なデコード、エージェントベンチマークでは2倍以上のエンドツーエンドのスピードアップを実現している。 コードはhttps://github.com/CURRENTF/SparseEngineで入手できる。

関連論文リスト

• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• Unifying Sparse Attention with Hierarchical Memory for Scalable Long-Context LLM Serving [18.681651346752766]
  動的スパースアテンションは、デコーディングステップ毎にKV状態の小さなクエリ依存サブセットだけにアクセスすることで緩和を約束する。 しかし実際には、これらのアルゴリズムによる貯蓄は、エンドツーエンドのシステムレベルのゲインにはほとんど変換されない。 本稿では,階層的なKVストレージで実行パイプラインを協調設計するスパースアテンション対応推論フレームワークSPINを提案する。
  論文  参考訳（メタデータ） (2026-04-29T16:02:00Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse [30.48395228595732]
  KVLinkは、大規模言語モデル(LLM)における効率的なキー値(KV)キャッシュ再利用のためのアプローチである。 KVLinkは、連結後のグローバルな位置と一致するように、推論時にKVキャッシュの位置埋め込みを調整することと、自己注意を回復するためにトレーニング可能な特別なトークンを使用することである。 7つのデータセットにわたる実験によると、KVLinkは最先端の手法よりも平均4%の精度で質問応答を改善する。
  論文  参考訳（メタデータ） (2025-02-21T23:34:29Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。