論文の概要: LouisKV: Efficient KV Cache Retrieval for Long Input-Output Sequences

• arxiv url: http://arxiv.org/abs/2510.11292v1
• Date: Mon, 13 Oct 2025 11:28:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.34087
• Title: LouisKV: Efficient KV Cache Retrieval for Long Input-Output Sequences
• Title（参考訳）: LouisKV: 長い入力出力シーケンスのための効率的なKVキャッシュ検索
• Authors: Wenbo Wu, Qingyi Si, Xiurui Pan, Ye Wang, Jie Zhang,
• Abstract要約: キーバリュー(KV)キャッシュは、自動回帰モデルにおける冗長な計算の削減に成功している。 メモリオーバーヘッドが大幅に増加し、長時間のシナリオでの実際のデプロイメントが制限される。 既存のKV検索手法は,ページ単位の検索やページ単位の粗いKV管理によって,顕著な効率性と精度のボトルネックに悩まされている。
• 参考スコア（独自算出の注目度）: 12.093166735658626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Key-Value (KV) cache succeeds in reducing redundant computations in auto-regressive models, it introduces significant memory overhead, limiting its practical deployment in long-sequence scenarios. Existing KV retrieval methods mitigate this by dynamically retaining only a subset of KV entries on the GPU. However, they still suffer from notable efficiency and accuracy bottlenecks due to per-token retrieval and coarse-grained page-level KV management, especially in long-output reasoning scenarios. With the emergence of large reasoning models, efficiently handling such scenarios has become increasingly important. To address this issue, we present two key observations: (1) critical KVs exhibit strong temporal locality during decoding, and (2) these KVs exhibit distinct distribution patterns across the input prompt and generated output. Building on these observations, we propose LouisKV, an efficient KV cache retrieval framework designed for various long-sequence scenarios. Specifically, LouisKV introduces a semantic-aware retrieval strategy leveraging temporal locality to trigger retrieval only at semantic boundaries, drastically reducing computation and data transfer overhead. LouisKV also designs a decoupled, fine-grained management scheme that tailors differentiated strategies for input and output sequences to create retrieval units that better match the model's attention patterns, enabling precise identification of critical KVs. Furthermore, to boost efficiency, LouisKV incorporates several kernel-level optimizations, including custom Triton and CUDA kernels to accelerate the KV clustering and retrieval. Evaluations show that LouisKV achieves up to 4.7$\times$ speedup over state-of-the-art KV retrieval methods while maintaining near-lossless accuracy across diverse long-sequence tasks, including long-input short-output, short-input long-output, and long-input long-output scenarios.
• Abstract（参考訳）: Key-Value(KV)キャッシュは自動回帰モデルにおける冗長な計算の削減に成功しているが、メモリオーバーヘッドが大幅に増加し、長時間のシナリオでの実際のデプロイメントが制限される。 既存のKV検索方法は、GPU上のKVエントリのサブセットのみを動的に保持することで、これを緩和する。 しかし、特に長期の推論シナリオにおいて、トーケン毎の検索やページレベルの粗いKV管理による顕著な効率性と精度のボトルネックに悩まされている。 大きな推論モデルの出現に伴い、このようなシナリオを効率的に扱うことがますます重要になっている。 この問題に対処するため,(1)臨界KVはデコード中に強い時間的局所性を示し,(2)これらのKVは入力プロンプトと出力の異なる分布パターンを示す。 これらの観測に基づいて,LouisKVを提案する。LouisKVは,様々な長期シナリオを対象とした効率的なKVキャッシュ検索フレームワークである。 特にLouisKVは、時間的局所性を活用したセマンティック・アウェアな検索戦略を導入し、セマンティック・バウンダリでのみ検索をトリガーし、計算とデータ転送のオーバーヘッドを大幅に削減する。 LouisKVはまた、入力シーケンスと出力シーケンスの戦略を個別に調整し、モデルの注意パターンに合った検索ユニットを作成し、重要なKVの正確な識別を可能にする、分離されたきめ細かな管理スキームを設計した。 さらに効率を上げるために、LouisKVはカスタムのTritonやCUDAカーネルなど、いくつかのカーネルレベルの最適化を導入し、KVクラスタリングと検索を高速化した。 評価の結果、LouisKVは最先端のKV検索手法よりも最大4.7$\times$スピードアップを達成でき、長い出力のショートアウト、短出力のロングアウトプット、長い出力のロングアウトプットシナリオを含む様々なロングシーケンスタスクにおいてほぼ無作為な精度を維持している。

関連論文リスト

• KV-Efficient VLA: A Method of Speed up Vision Language Model with RNN-Gated Chunked KV Cache [0.9238700679836854]
  VLA(Vision-Language-Action)モデルは、ロボットの認識と制御の統一を約束するが、そのスケーラビリティは、長軸推論における注意の二次的コストとキー値(KV)メモリの非有界成長によって制約される。 KV-Efficient VLAは、高ユーティリティコンテキストを選択的に保持する軽量なトレーニングフレンドリーなメカニズムを導入することで、これらの制限に対処するモデルに依存しないメモリ圧縮フレームワークである。 提案手法は,既存の自己回帰およびハイブリッドVLAスタックにシームレスに統合し,トレーニングパイプラインや下流制御ロジックを変更することなく,スケーラブルな推論を可能にする。
  論文  参考訳（メタデータ） (2025-09-20T02:04:24Z)
• KVComp: A High-Performance, LLM-Aware, Lossy Compression Framework for KV Cache [7.019967158501771]
  長文生成に最適化された汎用的で効率的なKVキャッシュ管理フレームワークであるKVCompを提案する。 KVCompは、KVキャッシュデータ特性に特化して設計された新しい損失圧縮技術を採用している。 KVCompは,従来の手法に比べて最大83%のメモリ削減率で,平均47%,最大83%の高速化を実現している。
  論文  参考訳（メタデータ） (2025-08-30T18:25:19Z)
• KeepKV: Eliminating Output Perturbation in KV Cache Compression for Efficient LLMs Inference [16.53643930310808]
  KeepKVは、厳しいメモリ制約下で性能を保ちながら出力摂動を排除するために設計された、新しい適応KVキャッシュマージ手法である。 KeepKVはメモリ使用量を大幅に削減し、推論スループットを2倍以上に向上し、10%のKVキャッシュ予算でも優れた生成品質を維持している。
  論文  参考訳（メタデータ） (2025-04-14T06:58:00Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [68.71450519846081]
  キー値(KV)キャッシュは、長い入力シーケンスと出力シーケンスを必要とするが、特に高い推論コストに寄与する。 ここでは,すべてのレイヤのKVキャッシュサイズを決定するという課題を,最適なグローバルプレフィックス設定を探すタスクに再編成するPrefixKVを提案する。 本手法は他の手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T15:48:59Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Model Tells You Where to Merge: Adaptive KV Cache Merging for LLMs on Long-Context Tasks [21.815661269986425]
  KVMergerと呼ばれる新しいKVキャッシュマージ手法を提案し、長文タスクに対して適応的なKVキャッシュ圧縮を実現する。 我々のアプローチは、キー状態が1つのシーケンス内のトークンレベルで高い類似性を示すという興味深い観察にインスパイアされている。 我々は,制約メモリ予算下での長時間コンテキストタスクに対するKVMergerの有効性を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-07-11T12:50:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。