論文の概要: VLCache: Computing 2% Vision Tokens and Reusing 98% for Vision-Language Inference

• arxiv url: http://arxiv.org/abs/2512.12977v1
• Date: Mon, 15 Dec 2025 04:45:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.534562
• Title: VLCache: Computing 2% Vision Tokens and Reusing 98% for Vision-Language Inference
• Title（参考訳）: VLCache: ビジョントークンの2%を計算し、ビジュアルランゲージ推論のために98%を再利用
• Authors: Shengling Qin, Hao Yu, Chenxin Wu, Zheng Li, Yizhong Cao, Zhengyang Zhuge, Yuxin Zhou, Wentao Yao, Yi Zhang, Zhengheng Wang, Shuai Bai, Jianwei Zhang, Junyang Lin,
• Abstract要約: VLCacheは、KeyValue(KV)キャッシュとEncoderLang入力の両方を活用するキャッシュ再利用フレームワークである。 VLCacheはトークンの2-5%しか計算しておらず、1.2x-16x TTFTの高速化を実現している。
• 参考スコア（独自算出の注目度）: 32.33685370786451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents VLCache, a cache reuse framework that exploits both Key-Value (KV) cache and encoder cache from prior multimodal inputs to eliminate costly recomputation when the same multimodal inputs recur. Unlike previous heuristic approaches, we formally identify the cumulative reuse error effect and demonstrate how to minimize the non-prefix cache reuse error effectively. We further analyze the varying importance of model layers and propose a dynamic, layer-aware recomputation strategy to balance accuracy and efficiency. Experimental results show that VLCache achieves an accuracy on par with full recomputation, while requiring only 2-5% of the tokens to compute, yielding 1.2x-16x TTFT speedups. The proposed VLCache pipeline has been integrated into SGLang, enabling significantly faster inference in practical deployments.
• Abstract（参考訳）: 本稿では,キーバリューキャッシュ(KV)とエンコーダキャッシュの両方を利用したキャッシュ再利用フレームワークであるVLCacheを提案する。 従来のヒューリスティックアプローチとは異なり、累積再利用誤差効果を正式に同定し、非プリフィックスキャッシュ再利用誤差を効果的に最小化する方法を示す。 さらに、モデル層の重要性を解析し、精度と効率のバランスをとるための動的層対応再計算戦略を提案する。 実験の結果,VLCacheはトークンの2-5%しか計算しておらず,1.2x-16x TTFTの高速化を実現していることがわかった。 提案されたVLCacheパイプラインはSGLangに統合され、実用的なデプロイメントにおける推論が大幅に高速化された。

関連論文リスト

• ERTACache: Error Rectification and Timesteps Adjustment for Efficient Diffusion [30.897215456167753]
  拡散モデルは、本質的に反復的推論プロセスのため、かなりの計算オーバーヘッドに悩まされる。 我々は、両方のエラータイプを共同で修正する原則的なキャッシュフレームワークであるERTACacheを提案する。 ERTACacheは最大2倍の推論スピードアップを実現します。
  論文  参考訳（メタデータ） (2025-08-27T10:37:24Z)
• FastCache: Fast Caching for Diffusion Transformer Through Learnable Linear Approximation [43.83288560196838]
  DiT (Diffusion Transformer) は強力な生成モデルであるが、その反復構造と深部変圧器スタックのために計算集約性を維持している。 FastCacheは、DiT推論を高速化する隠れ状態レベルのキャッシュおよび圧縮フレームワークである。 複数のDiT変種にまたがる実証的な評価は、レイテンシとメモリ使用量の大幅な削減を示している。
  論文  参考訳（メタデータ） (2025-05-26T05:58:49Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)
• VLA-Cache: Efficient Vision-Language-Action Manipulation via Adaptive Token Caching [23.52474883720957]
  VLA(Vision-Language-Action)モデルは、視覚知覚と言語命令から直接のアクション生成を可能にする強力なマルチモーダル推論能力を示している。 本稿では,フレーム間の静的な視覚トークンを適応的にキャッシュ・再利用することにより,計算オーバーヘッドを低減する訓練不要な推論高速化手法であるVLA-Cacheを紹介する。
  論文  参考訳（メタデータ） (2025-02-04T09:48:14Z)
• XKV: Personalized KV Cache Memory Reduction for Long-Context LLM Inference [9.65524177141491]
  大規模言語モデル(LLM)推論は出力トークンを1つずつ生成し、多くの冗長な計算に繋がる。 KV-Cacheフレームワークは時間と空間の複雑さを妥協する。 既存の研究では、推論精度に重要でないキャッシュデータの一部を削除することで、メモリ消費を減らすことができる。 各レイヤのキャッシュサイズをパーソナライズしてカスタマイズすることで,メモリの大幅な削減が期待できることを示す。
  論文  参考訳（メタデータ） (2024-12-08T11:32:08Z)
• PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [97.41972925670508]
  大規模視覚言語モデル(LVLM)は、推論中に重要な計算とメモリオーバーヘッドを引き起こす。 ここでは、PrefixKVについて述べる。ここでは、Prefixは、元のシーケンスの位置ではなく、重要度に基づいて、上位ランクのKVを意味する。 本手法は他の手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T15:48:59Z)
• VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration [7.463830743649754]
  VLM(Vision-Language Models)は、多目的なタスクセットにまたがる印象的なパフォーマンスを実証している。 キーバリュー(KV)キャッシュは、画像やビデオなどの長い視覚的コンテキストをエンコードする。 既存のKVキャッシュ圧縮手法は大規模言語モデル(LLM)に有効である VLM推論の高速化に適した新しいKVキャッシュ圧縮レシピを提案する。
  論文  参考訳（メタデータ） (2024-10-29T20:04:34Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。