Fugu-MT 論文翻訳(概要): VisCache: Visual KV Cache Pruning for Efficient Vision Large Language Model Inference

論文の概要: VisCache: Visual KV Cache Pruning for Efficient Vision Large Language Model Inference

arxiv url: http://arxiv.org/abs/2608.24063v1
Date: Tue, 25 Aug 2026 04:52:05 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-26 14:09:34.814039
Title: VisCache: Visual KV Cache Pruning for Efficient Vision Large Language Model Inference
Title（参考訳）: VisCache:視覚的大言語モデル推論のためのビジュアルKVキャッシュプルーニング
Abstract要約: VisCacheは、トレーニングなしで大きめのtextbfVisual KV textbfCacheプルーニングを行うためのフレームワークである。 PruneKVは、Vision Large Language Modelsの注意力学に合わせて設計された、外科的KV圧縮アルゴリズムである。 VisCacheは、既存のベースラインを一貫して上回る。
参考スコア（独自算出の注目度）: 17.932004205808486
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While Vision Large Language Models (VLLMs) have achieved remarkable success in multimodal reasoning, their long-context inference remains prohibitively expensive due to the massive computation and memory overhead of visual Key-Value (KV) caches. Existing KV compression methods often apply uniform pruning across visual tokens and layers, leading to substantial information loss and degraded performance.To address this challenge, we propose \textbf{VisCache}, a plug-and-play framework for coarse-to-fine \textbf{Vis}ual KV \textbf{Cache} pruning without training, which consists of two synergistic stages. First, a lightweight VLM filters temporal redundancy by selectively forwarding semantically informative keyframes. Second, we introduce {PruneKV}, a surgical KV compression algorithm tailored to the attention dynamics of VLLMs. Unlike rigid pruning strategies, PruneKV adopts a parabolic layer-wise budget allocation together with an asymmetric update mechanism that selectively prunes keys while fusing values, thereby preserving critical contextual information. Extensive experiments demonstrate that VisCache substantially improves inference efficiency, achieving up to {2.35$\times$ speedup} and significant memory reduction while maintaining competitive performance with only {19--28\%} KV cache retention. VisCache consistently outperforms existing baselines, establishing a new Pareto frontier between efficiency and performance for long-context VLLM inference. Code is available at https://github.com/Wlklk/VisCache
Abstract（参考訳）: Vision Large Language Models (VLLM) はマルチモーダル推論において顕著な成功を収めているが、視覚キーバリュー(KV)キャッシュの膨大な計算とメモリオーバーヘッドのため、長いコンテキスト推論は違法に高価である。既存のKV圧縮法では,視覚的トークンやレイヤ間で均一なプルーニングを適用し,情報損失と性能低下を招き,この課題に対処するために,2つの相乗的段階からなる学習を伴わない粗粒度なKV \textbf{Vis}ual KV \textbf{Cache}プルーニングのためのプラグアンドプレイフレームワークである \textbf{VisCache} を提案する。まず、軽量なVLMは、意味的情報的キーフレームを選択的にフォワードすることで、時間的冗長性をフィルタする。第2に,VLLMの注意ダイナミクスに合わせて,手術用KV圧縮アルゴリズムである {PruneKV} を導入する。厳格なプルーニング戦略とは異なり、PruneKVはパラボリックな階層的な予算配分と非対称な更新機構を採用し、キーを浮き彫りながらキーを選択的にプルーする。大規模な実験では、VisCacheは推論効率を大幅に改善し、最大2.35$\times$ speedup}を実現し、19-28\%のKVキャッシュ保持のみで競合性能を維持しながら、メモリの大幅な削減を実現している。 VisCacheは既存のベースラインを一貫して上回り、長文VLLM推論の効率性とパフォーマンスの間に新しいParetoフロンティアを確立する。コードはhttps://github.com/Wlklk/VisCacheで入手できる。

関連論文リスト

DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference [0.0]
トランスフォーマーベースの大規模言語モデル(LLM)は多くのタスクで高いパフォーマンスを達成するが、キーバリュー(KV)キャッシュはシーケンス長とともに線形に増大する。逐次決定問題としてKV-cache消去を定式化する強化学習フレームワークであるDistillCacheを提案する。
論文参考訳（メタデータ） (2026-08-09T19:33:43Z)
MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
論文参考訳（メタデータ） (2026-05-21T10:13:03Z)
dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
論文参考訳（メタデータ） (2025-05-21T17:32:10Z)
AirCache: Activating Inter-modal Relevancy KV Cache Compression for Efficient Large Vision-Language Model Inference [11.73134417321505]
本稿では,LVLM推論の高速化を目的とした新しいKVキャッシュ圧縮手法であるAirCacheを提案する。本手法は,視覚的KVキャッシュの10%を保ちながら,フルキャッシュに匹敵する性能を実現する。
論文参考訳（メタデータ） (2025-03-31T11:13:18Z)
DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
論文参考訳（メタデータ） (2025-02-24T06:33:39Z)
PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [97.41972925670508]
大規模視覚言語モデル(LVLM)は、推論中に重要な計算とメモリオーバーヘッドを引き起こす。ここでは、PrefixKVについて述べる。ここでは、Prefixは、元のシーケンスの位置ではなく、重要度に基づいて、上位ランクのKVを意味する。本手法は他の手法と比較して最先端の性能を実現する。
論文参考訳（メタデータ） (2024-12-04T15:48:59Z)
VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration [7.463830743649754]
VLM(Vision-Language Models)は、多目的なタスクセットにまたがる印象的なパフォーマンスを実証している。キーバリュー(KV)キャッシュは、画像やビデオなどの長い視覚的コンテキストをエンコードする。既存のKVキャッシュ圧縮手法は大規模言語モデル(LLM)に有効である VLM推論の高速化に適した新しいKVキャッシュ圧縮レシピを提案する。
論文参考訳（メタデータ） (2024-10-29T20:04:34Z)
ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文参考訳（メタデータ） (2024-07-30T17:59:08Z)
Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。命令符号化では,キャッシュの重要性を評価するために周波数を利用する。様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文参考訳（メタデータ） (2024-07-25T15:29:05Z)
MiniCache: KV Cache Compression in Depth Dimension for Large Language Models [48.03117580340151]
キーバリュー(KV)キャッシュは、以前に生成されたトークンのキー値状態を格納する。 KVキャッシュのサイズはシーケンス長とともに線形に増加し、長いコンテキスト入力と広範囲なシーケンス生成を必要とするアプリケーションの課題を提起する。レイヤ間のKVキャッシュを,新しい奥行きの観点から圧縮する,MiniCacheという,シンプルで効果的なアプローチを提案する。
論文参考訳（メタデータ） (2024-05-23T09:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。