論文の概要: vToken: Token-Level Virtualization for Reclaimable KV Caches

• arxiv url: http://arxiv.org/abs/2608.13263v1
• Date: Thu, 13 Aug 2026 14:01:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.551258
• Title: vToken: Token-Level Virtualization for Reclaimable KV Caches
• Title（参考訳）: vToken: 再生可能なKVキャッシュのためのToken-Level仮想化
• Abstract要約: PagedAttentionは、アロケータレベルのフラグメンテーションを減らすために、固定サイズのメモリブロックを使用する。 近年のKV消去アルゴリズムは, ブロックレベルの管理よりも微細なトークンで動作している。 本稿では,物理ブロック配置から論理トークンの生存性を分離する軽量なトークンレベル仮想化層であるvTokenを紹介する。
• 参考スコア（独自算出の注目度）: 18.919429120080277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model serving faces a critical memory bottleneck: the KV cache grows with sequence length and batch size. PagedAttention uses fixed-size memory blocks to reduce allocator-level fragmentation, but recent KV eviction algorithms operate at a token granularity finer than block-level management. This mismatch causes intra-block fragmentation, leaving a large fraction of allocated KV memory unreclaimable. We present vToken, a lightweight token-level virtualization layer that decouples logical token liveness from physical block placement. vToken maintains a stable logical token view through token-table indirection and realizes physical reclamation by repacking live tokens asynchronously. The design preserves PagedAttention kernels and CUDA Graph compatibility. We implement vToken in vLLM and evaluate it with H2O, Random, and Scissorhands across models. Compared with a paired Naive-Evict baseline, vToken reduces retained KV blocks per request by 27.2\%--72.3\% and improves SLA-constrained throughput by up to 1.37$\times$. Under a constrained active-KV budget, it extends the maximum feasible concurrency by up to 2$\times$, while reducing the per-policy integration footprint from 500+ lines to under 50.
• Abstract（参考訳）: KVキャッシュはシーケンス長とバッチサイズで増大する。 PagedAttentionはアロケータレベルの断片化を減らすために固定サイズのメモリブロックを使用するが、最近のKV消去アルゴリズムはブロックレベルの管理よりも細かいトークンの粒度で動作する。 このミスマッチはブロック内の断片化を引き起こし、割り当てられたKVメモリの大部分を再生不能にする。 本稿では,物理ブロック配置から論理トークンの生存性を分離する軽量なトークンレベル仮想化層であるvTokenを紹介する。 vTokenはトークンテーブルの間接を通じて安定した論理トークンビューを維持し、ライブトークンを非同期に再パッケージすることで物理的な再利用を実現する。 この設計では、PagedAttentionカーネルとCUDA Graphとの互換性が保たれている。 我々はvLLMでvTokenを実装し、モデル間のH2O、Random、Scisorhandsで評価する。 ペアのNaive-Evictベースラインと比較して、vTokenはリクエスト毎の保持KVブロックを27.2\%--72.3\%削減し、SLA制約のスループットを最大1.37$\times$まで改善する。 制約付きアクティブKV予算の下では、最大実行可能な並行処理を最大2$\times$まで拡張すると同時に、500行以上のサービス統合のフットプリントを50行未満に削減する。

関連論文リスト

• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• GraphKV: Breaking the Static Selection Paradigm with Graph-Based KV Cache Eviction [9.309829912599367]
  GraphKVは、KVキャッシュ圧縮のためのトークン選択を再定義するグラフベースのフレームワークである。 SnapKV や PyramidKV といった既存の KV キャッシュ消去手法をプラグイン・アンド・プレイ方式でシームレスに利用することができる。
  論文  参考訳（メタデータ） (2025-08-30T06:56:28Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression [10.003118268356017]
  ロングコンテキストは推論効率に重大な課題をもたらす。 本稿では,意味クラスタの粒度でトークンをリコールするClusterKVを紹介する。 実験結果から、ClusterKVは32kのコンテキスト長を持つ様々なタスクにおいて、無視可能な精度の損失が得られることがわかった。
  論文  参考訳（メタデータ） (2024-12-04T10:58:27Z)
• Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity [24.118503938098307]
  textscPoDはトークンの重要度に応じてメモリを割り当てる。 textscPoDは、パフォーマンスを損なうことなく、KVキャッシュメモリ使用量を最大35%削減する。
  論文  参考訳（メタデータ） (2024-12-03T08:29:27Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。