論文の概要: InferScale: GPU-Native KV Injection for Personalized LLM Serving

• arxiv url: http://arxiv.org/abs/2607.27090v1
• Date: Wed, 29 Jul 2026 16:18:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.738999
• Title: InferScale: GPU-Native KV Injection for Personalized LLM Serving
• Title（参考訳）: InferScale: パーソナライズされたLLMサービングのためのGPU-Native KVインジェクション
• Abstract要約: InferScaleは、繰り返しプロンプトプリフィルを再利用可能なKV状態に置き換えるGPUネイティブメモリシステムである。 InferScaleは、各メモリファクトのKV表現をプリ計算し、GPUにセマンティック埋め込みと一緒に格納し、サービス時に関連する事実を検索する。 Context-Windowは、ターゲットファクトのKVのみをキャッシュしながら、前の会話コンテキストの小さなウィンドウと共に、各メモリファクトをエンコードする。
• 参考スコア（独自算出の注目度）: 2.1906014825510307
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly deployed with persistent personalized context, such as accumulated memory profiles or long conversation histories, that is shared across a user's many requests. Production memory systems (e.g., Mem0, MemGPT, and Zep) retrieve a relevant subset of this memory and inject it into the prompt, forcing the serving engine to repeatedly prefill the same content. As the retrieval budget grows, time-to-first-token (TTFT) increases even though the underlying memory is reused across requests. We present InferScale, a GPU-native LLM memory system that replaces repeated prompt prefilling with reusable KV state. InferScale precomputes each memory fact's KV representation, stores it alongside a semantic embedding on the GPU, retrieves relevant facts at serving time, and injects their KV directly into vLLM's paged cache. To support dynamically assembled memories under rotary position embeddings, we introduce Chunked RoPE, which stores keys before rotation and applies their serving-time positions during injection. However, encoding memory facts independently omits the cross-fact context available during joint prefilling. We mitigate this with Context-Window Encoding, which encodes each memory fact together with a small window of preceding conversation context while caching only the target fact's KV. InferScale is implemented through vLLM's KV-connector interface, requiring neither engine modifications nor model fine-tuning. Across three open-weight models on LoCoMo, InferScale keeps TTFT nearly constant as the retrieval budget increases: at k=50 it reduces TTFT by 72-79% (3.6-4.8x), achieves 60.3% accuracy versus 63.3% for Mem0 without serving-time recomputation, and delivers 3.7-4.5x the throughput under concurrent load. Reusable KV state thus decouples memory-conditioned serving latency from retrieved-context size while preserving application quality.
• Abstract（参考訳）: 大規模な言語モデルは、蓄積されたメモリプロファイルや長い会話履歴など、永続的なパーソナライズされたコンテキストでデプロイされ、ユーザの多くのリクエスト間で共有されるようになっている。 プロダクションメモリシステム(例えば、Mem0、MemGPT、Zep)は、このメモリの関連するサブセットを取得してプロンプトに注入し、サーブエンジンは繰り返し同じコンテンツをプリフィルしなければならない。 検索予算が増加するにつれて、基礎となるメモリがリクエスト間で再利用されているにもかかわらず、TTFT(Time-to-first-token)が増加する。 InferScaleはGPUネイティブなLCMメモリシステムで、繰り返しプロンプトプリフィルを再利用可能なKV状態に置き換える。 InferScaleは、各メモリファクトのKV表現をプリ計算し、GPUにセマンティック埋め込みと一緒に保存し、サービス時に関連する事実を検索し、VLLMのページキャッシュに直接KVを注入する。 回転位置埋め込み下で動的に組み立てられた記憶を支援するために、回転前にキーを格納し、注入中にそのサービス時間位置を印加するChunked RoPEを導入する。 しかし、メモリファクトの符号化は、ジョイントプリフィル時に利用可能なクロスファクトコンテキストを独立に省略する。 対象のファクトのKVのみをキャッシュしながら,先行するコンテキストの小さなウィンドウとともに,各メモリ事実をエンコードするContext-Window Encodingでこれを緩和する。 InferScaleはvLLMのKVコネクタインタフェースを通じて実装されており、エンジンの変更もモデル微調整も必要としない。 検索予算が増加するにつれて、InferScaleはTTFTをほぼ一定に保ち、k=50でTTFTを72-79%削減し(3.6-4.8x)、60.3%の精度でMem0の63.3%の精度を実現した。 これにより、再使用可能なKV状態は、メモリ条件のサービスレイテンシを、アプリケーション品質を保ちながら、検索したコンテキストサイズから切り離す。

関連論文リスト

• SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference [37.37437232987781]
  SeKVは、コンテキストをエントロピー誘導セマンティックスパンに整理する、解像度適応型セマンティックKVキャッシュである。 本研究では,SeKVが最強のセマンティック圧縮ベースラインよりも平均5.9%向上していることを示す。 128KコンテキストでのフルKVキャッシュに対して、GPUメモリを53.3%削減する。
  論文  参考訳（メタデータ） (2026-06-30T05:18:02Z)
• FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
  Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。 このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。 FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T06:25:54Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• ZoomR: Memory Efficient Reasoning through Multi-Granularity Key Value Retrieval [58.575695990976136]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて優れたパフォーマンスを示している。 LLMは、最終的な答えに到達する前に、長い中間的思考を生成する必要があることが多い。 我々は,LLMが動詞の推論思考を要約に適応的に圧縮することを可能にする新しいアプローチであるZoomRを紹介する。
  論文  参考訳（メタデータ） (2026-04-13T02:00:35Z)
• KEEP: A KV-Cache-Centric Memory Management System for Efficient Embodied Planning [8.216400469571084]
  効率的な実施計画のためのKVキャッシュ型メモリ管理システムKEEPを提案する。 KEEPは,(1)混合粒度メモリグループによるKVキャッシュ再計算を低減する静的動的メモリ構築アルゴリズム,(2)異なるメモリグループ間の重要なクロスアテンションを動的に識別するマルチホップメモリ再計算アルゴリズム,(3)不均衡なKVキャッシュのロードと異なるレイヤ間のクロスアテンションを排除するレイヤバランスのメモリローディングという3つの重要なイノベーションを特徴としている。
  論文  参考訳（メタデータ） (2026-02-27T01:48:07Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• KVSwap: Disk-aware KV Cache Offloading for Long-Context On-device Inference [6.159622195480178]
  言語モデル(LM)は、ミーティングやビデオの要約、ドキュメント分析といった、モバイルおよび組み込みAIアプリケーションを支えるものだ。 キー値(KV)キャッシュがコンテキスト長とバッチサイズとともに線形に増加するため、長コンテキスト推論はすぐにメモリキャパシティウォールにヒットする。 KVSwapは、KVキャッシュを非揮発性二次記憶装置(ディスク)にオフロードすることで、このメモリ壁を壊すソフトウェアフレームワークである。 KVSwapは、既存のKVキャッシュオフロード方式と比較して、生成品質を維持しながら、厳しいメモリ予算の下で高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-11-14T22:37:57Z)
• KV Cache Transform Coding for Compact Storage in LLM Inference [2.20003167536462]
  KVTCは、KVキャッシュをコンパクトなオンGPUとオフGPUストレージに圧縮する軽量トランスフォーメーションコーダである。 KVキャッシュの冗長性を活用することで、KVTCは推論と長文の精度を維持しながら最大20$times$圧縮を達成する。 我々は、AIME25、LiveCodeBench、GSM8K、MMLU、Qasper、RULER、MATH-500を含むベンチマークで、Llama 3、Mistral NeMo、R1-Qwen 2.5モデルでKVTCをテストする。
  論文  参考訳（メタデータ） (2025-11-03T18:20:35Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。