論文の概要: Using Span Queries to Optimize for Cache and Attention Locality

• arxiv url: http://arxiv.org/abs/2511.02749v1
• Date: Tue, 04 Nov 2025 17:22:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:06.120269
• Title: Using Span Queries to Optimize for Cache and Attention Locality
• Title（参考訳）: Span Queriesを使ってキャッシュとアテンションのローカリティを最適化
• Authors: Paul Castro, Nick Mitchell, Nathan Ordonez, Thomas Parnell, Mudhakar Srivatsa, Antoni Viros i Martin,
• Abstract要約: スパンクエリを導入し、インターフェースを推論サーバに一般化する。 スパンクエリがTTFTの10～20倍の削減を2つの異なる非チャットユースケースに対して達成できることを示す。 また、スパンクエリを最適化して、アテンションの局所性を改善することも実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clients are evolving beyond chat completion, and now include a variety of innovative inference-time scaling and deep reasoning techniques. At the same time, inference servers remain heavily optimized for chat completion. Prior work has shown that large improvements to KV cache hit rate are possible if inference servers evolve towards these non-chat use cases. However, they offer solutions that are also optimized for a single use case, RAG. In this paper, we introduce the span query to generalize the interface to the inference server. We demonstrate that chat, RAG, inference-time scaling, and agentic workloads can all be expressed as span queries. We show how the critical distinction that had been assumed by prior work lies in whether the order of the inputs matter -- do they commute? In chat, they do not. In RAG, they often do. This paper introduces span queries, which are expression trees of inference calls, linked together with commutativity constraints. We describe span query syntax and semantics. We show how they can be automatically optimized to improve KV cache locality. We show how a small change to vLLM (affecting only 492 lines) can enable high-performance execution of span queries. Using this stack, we demonstrate that span queries can achieve 10-20x reductions in TTFT for two distinct non-chat use cases. Finally, we show that span queries can also be optimized to improve attention locality, so as to avoid the so-called lost-in-the-middle problem. We demonstrate that an attention-optimized span query on a 2b parameter model vastly outperforms the accuracy of a stock inference server using an 8b model.
• Abstract（参考訳）: クライアントはチャットの補完を超えて進化しており、様々な革新的な推論時間スケーリングと深い推論技術を含んでいる。 同時に、推論サーバはチャット補完に強く最適化されている。 以前の研究によると、推論サーバがこれらの非チャットユースケースに向けて進化すれば、KVキャッシュヒットレートが大幅に改善されることが示されている。 しかし、単一のユースケースであるRAGにも最適化されたソリューションを提供する。 本稿では,インターフェースを推論サーバに一般化するスパンクエリを提案する。 チャット、RAG、推論時間スケーリング、エージェントのワークロードはすべて、スパンクエリとして表現できることを示します。 我々は、事前の作業によって想定された批判的な区別が、入力の順序が重要であるかどうかにどのように関係しているかを示す。 チャットでは、そうではない。 RAGでは、しばしばそうします。 本稿では,可換性制約と連動した推論呼び出しの表現木であるスパンクエリを提案する。 スパンクエリの構文とセマンティクスについて説明する。 KVキャッシュの局所性を改善するために、どのように自動的に最適化できるかを示す。 我々は、vLLMへの小さな変更(わずか492行の影響)が、スパンクエリの高速実行を可能にしていることを示す。 このスタックを用いて,2つの異なる非チャットユースケースに対してTTFTを10～20倍削減できることを示す。 最後に,スパンクエリを最適化することで,アテンションの局所性を向上し,いわゆる「中間者損失問題」を回避することができることを示す。 本研究では,2bパラメータモデル上での注目度を最適化したスパンクエリが,8bモデルを用いたストック推論サーバの精度を大幅に上回ることを示す。

関連論文リスト

• LoopServe: An Adaptive Dual-phase LLM Inference Acceleration System for Multi-Turn Dialogues [59.12542274007847]
  LoopServeは、多ターン対話における大規模言語モデルのための適応的な二相推論フレームワークである。 LoopServeは、既存のベースラインに比べて一貫して優れた効率を実現している。
  論文  参考訳（メタデータ） (2025-07-18T06:12:08Z)
• ContextCache: Context-Aware Semantic Cache for Multi-Turn Queries in Large Language Models [33.729482204460815]
  このデモでは、マルチターン対話のためのコンテキスト対応セマンティックキャッシュシステムであるContextCacheを紹介した。 ContextCacheは、2段階の検索アーキテクチャを使用し、まず現在のクエリ上でベクトルベースの検索を実行し、潜在的なマッチングを識別し、その後、正確なコンテキストマッチングのための自己認識機構を通じて、現在の対話表現と過去の対話表現を統合する。 キャッシュされた応答は、直接LLM呼び出しの約10倍のレイテンシを示し、会話アプリケーションに対する計算コストの大幅な削減を可能にする。
  論文  参考訳（メタデータ） (2025-06-28T07:25:12Z)
• Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
  本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。 APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。 鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
  論文  参考訳（メタデータ） (2025-04-21T22:29:02Z)
• Leveraging Approximate Caching for Faster Retrieval-Augmented Generation [6.674782158041247]
  本稿では,ユーザクエリの類似性を活用してRAGワークフローを最適化する,近似キー値キャッシュであるProximityを紹介する。 Proximityは、それぞれのクエリを独立して扱う代わりに、類似したクエリが現れると、以前検索されたドキュメントを再利用する。 我々の実験では、LSH方式と現実的にスキューされたMedRAGのワークロードとの近さは、データベースのリコールとテストの精度を維持しながら、データベース呼び出しを77.2%削減することを示した。
  論文  参考訳（メタデータ） (2025-03-07T15:54:04Z)
• EPIC: Efficient Position-Independent Caching for Serving Large Language Models [19.510078997414606]
  キャッシングは、リクエスト間でキーバリューベクトルを再利用することで、パフォーマンスを向上させる。 既存のコンテキストキャッシュでは、リクエストにまたがる正確なプレフィックスが必要である。 位置独立キャッシング (PIC) を導入し, プレフィックスによらず KV ベクトルのモジュラー再利用を可能にする。 また、新しいLegoLinkアルゴリズムを取り入れたサービスシステムEPICも導入しています。
  論文  参考訳（メタデータ） (2024-10-20T08:42:29Z)
• CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
  メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。 KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。 検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
  論文  参考訳（メタデータ） (2024-04-24T16:11:54Z)
• Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation [68.45737688496654]
  各オブジェクトのマスク特徴を再エンコードすることなく,フレーム間の直接対応性を確立する。 対応によって、現在のクエリフレーム内の全てのノードは、過去の特徴を連想的に集約することによって推測される。 すべてのメモリノードにコントリビュートする機会があることを検証し、そのような多彩な投票がメモリ効率と推論精度の両方に有益であることを示した。
  論文  参考訳（メタデータ） (2021-06-09T16:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。