論文の概要: QUILT: Rethinking Sparse-Attention Prefill through Shared Query Execution

• arxiv url: http://arxiv.org/abs/2610.11134v1
• Date: Thu, 08 Oct 2026 02:58:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.75173
• Title: QUILT: Rethinking Sparse-Attention Prefill through Shared Query Execution
• Title（参考訳）: QUILT:共有クエリ実行によるスパースアテンションプレフィルの再考
• Abstract要約: QUILTは、隣接するクエリを共同で処理し、共有KVエントリを再利用する、ワークロード対応のスパースアテンション実行機構である。 QUILTは平均カーネル遅延を最大55.1%削減し、KVデータを最大55.9%削減し、タイム・ツー・ファースト・トケン(TTFT)レイテンシを最大36.8%削減する。
• 参考スコア（独自算出の注目度）: 5.098902055628414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse attention reduces the cost of long-context attention, but existing kernels typically process queries independently, repeatedly loading and dequantizing KV entries shared across queries. We observe substantial overlap in the KV entries selected by neighboring queries, creating opportunities for cross-query reuse. We present QUILT, a workload-aware sparse-attention execution mechanism that jointly processes neighboring queries and reuses shared KV entries to reduce redundant memory traffic and computation. QUILT introduces Shift-and-Compare Set Decomposition (SCSD), which transforms irregular set operations into regular data-parallel primitives suitable for modern accelerators, and pipelines SCSD with attention computation to hide its overhead. Cascaded sharing captures reuse hierarchically at multiple granularities. A tile-aware execution strategy balances sharing granularity with hardware tile utilization and selectively removes low-importance query-specific tails to eliminate underutilized tiles. We evaluate QUILT on LongBench using GLM-5.3 and DeepSeek-3.2 under both tensor and sequence parallelism. Compared with the state-of-the-art sparse-attention kernel, QUILT reduces average kernel latency by up to 55.1% and processed KV data by up to 55.9%, while reducing time-to-first-token (TTFT) latency by up to 36.8% with negligible accuracy degradation.
• Abstract（参考訳）: しかし、既存のカーネルはクエリを独立して処理し、クエリ間で共有されるKVエントリの繰り返しロードと復号化を行うのが一般的である。 近隣のクエリによって選択されたKVエントリにかなりの重複が見られ、クロスクエリの再利用の機会が生まれる。 本稿では、隣接するクエリを共同処理し、共有KVエントリを再利用して冗長なメモリトラフィックと計算を削減できる、ワークロード対応スパースアテンション実行機構QUILTを提案する。 QUILT は Shift-and-Compare Set Decomposition (SCSD) を導入し、不規則なセット操作を現代のアクセラレータに適した通常のデータ並列プリミティブに変換する。 カスケード共有は、複数の粒度で階層的に再利用をキャプチャする。 タイル認識実行戦略は、粒度とハードウェアタイル利用とのバランスを保ち、低重要クエリ固有のテールを選択的に除去し、未使用タイルを除去する。 GLM-5.3 と DeepSeek-3.2 を用いて LongBench 上のQUILT をテンソル並列性とシーケンス並列性の両方で評価する。 最先端のスパースアテンションカーネルと比較して、QUILTは平均カーネルのレイテンシを55.1%まで削減し、処理されたKVデータを55.9%まで削減し、タイム・ツー・ファースト・トケン(TTFT)のレイテンシを36.8%まで削減した。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval [51.43543998583709]
  SSR(Single-stage Sparse Retrieval)は、高価なクラスタリングを効率的なスパースコーディングに置き換えるパラダイムシフトである。 ColBERTv2と比較してインデックス処理時間を15倍短縮し、検索レイテンシを半減させ、同時に検索性能を向上させる。
  論文  参考訳（メタデータ） (2026-05-28T15:53:34Z)
• PRISM: Fast Online LLM Serving via Scheduling-Memory Co-design [5.476189551376108]
  本稿では、要求対応のラッドツリー(DART)とクエリ対応のスケジューラ(QAS)を共同設計し、要求の受け入れを正確なKV保持と整合させるPRISMを提案する。 評価の結果,最強のベースラインに対して,PRISMはQPS P99 TTFT平均を23.3%,P99 TTFT平均を37.1%削減し,KV-cacheの精度は4Bモデルと13Bモデルでそれぞれ5.9,12.2ポイント向上した。
  論文  参考訳（メタデータ） (2026-05-09T00:48:25Z)
• Unifying Sparse Attention with Hierarchical Memory for Scalable Long-Context LLM Serving [18.681651346752766]
  動的スパースアテンションは、デコーディングステップ毎にKV状態の小さなクエリ依存サブセットだけにアクセスすることで緩和を約束する。 しかし実際には、これらのアルゴリズムによる貯蓄は、エンドツーエンドのシステムレベルのゲインにはほとんど変換されない。 本稿では,階層的なKVストレージで実行パイプラインを協調設計するスパースアテンション対応推論フレームワークSPINを提案する。
  論文  参考訳（メタデータ） (2026-04-29T16:02:00Z)
• FlowKV: A Disaggregated Inference Framework with Low-Latency KV Cache Transfer and Load-Aware Scheduling [10.298476019491146]
  Flow KVは非凝集型推論フレームワークである。 これにより、KVキャッシュの平均伝送遅延を0.944sから0.053sに96%削減できる。 これは、通常、計算の不均衡、極端な過負荷条件など、様々なシナリオでピークシステムのスループットを達成する。
  論文  参考訳（メタデータ） (2025-04-03T08:58:05Z)
• Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
  本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。 推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。 また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-14T18:54:19Z)
• DeFT: Decoding with Flash Tree-attention for Efficient Tree-structured LLM Inference [22.684773338989007]
  大規模言語モデル(LLM)は、トークンの共有プレフィックスを持つツリー構造において、複数の世代呼び出しを処理する複雑なタスクにますます採用されている。 木に基づくアプリケーションの既存の推論システムは、注意計算中にクエリとKVキャッシュの不適切なパーティショニングのために非効率である。 我々は,プレフィックス認識と負荷分散KVキャッシュパーティションを用いたハードウェア効率の高いアテンションアルゴリズムであるDeFTを提案する。
  論文  参考訳（メタデータ） (2024-03-30T04:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。