論文の概要: MM-ShiftKV: Decode-Aware Prefill-Stage KV Selection for Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2607.22586v1
- Date: Tue, 09 Jun 2026 04:56:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.978347
- Title: MM-ShiftKV: Decode-Aware Prefill-Stage KV Selection for Multimodal Large Language Models
- Title（参考訳）: MM-ShiftKV:マルチモーダル大言語モデルのためのデコード対応プリフィルステージKV選択
- Abstract要約: キーバリュー(KV)キャッシングはマルチモーダル大言語モデル(MLLM)における効率的な推論に不可欠である
最近のプリフィルステージKV選択法は、プリフィル統計からKVの重要性を推定する。
この仮定は、デコード時クエリがプレフィルステージ表現よりもはるかに大きなばらつきを示すマルチモーダル推論において分解されることを示す。
MM-ShiftKV, トレーニング不要, デコード対応, 厳密なプリフィルのみのKV選択法を提案する。
- 参考スコア（独自算出の注目度）: 13.622924728348089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Key-Value (KV) caching is essential for efficient inference in multimodal large language models (MLLMs), yet its memory footprint grows linearly with context length and becomes a major bottleneck due to the large number of visual tokens. Recent prefill-stage KV selection methods estimate KV importance from prefilling statistics, implicitly assuming that prefilling-time queries are representative of those encountered during decoding. We show that this assumption breaks down in multimodal inference, where decoding-time queries exhibit substantially larger variance than prefilling-stage representations, leading to unstable KV importance estimation under tight cache budgets. As a result, small ranking errors can disproportionately discard semantically critical visual tokens and degrade grounding and reasoning performance. We propose MM-ShiftKV, a training-free, decode-aware and strictly prefill-only KV selection method. MM-ShiftKV approximates decoding-time query behavior during prefilling by constructing variance-expanded query proxies and estimates prompt KV importance based on their aggregated attention mass. Experiments on multimodal benchmarks demonstrate that MM-ShiftKV consistently outperforms existing methods under strict KV-cache budgets. Our code is available at https://github.com/zjuDBxAI/MM-ShiftKV.
- Abstract（参考訳）: キーバリュー(KV)キャッシングはマルチモーダル大言語モデル(MLLM)において効率的な推論に不可欠であるが、メモリフットプリントはコンテキスト長とともに線形に増加し、多数の視覚トークンのために大きなボトルネックとなる。
近年のプリフィルステージKV選択法では、プリフィルング統計からKVの重要性を推定し、プリフィルング時間クエリがデコード時に遭遇したクエリを表すことを暗黙的に仮定している。
この仮定はマルチモーダル推論において分解され、デコード時クエリはプリフィルステージ表現よりもかなり大きなばらつきを示し、タイトなキャッシュ予算下での不安定なKV重要度推定に繋がる。
結果として、小さなランキングエラーは意味的に重要な視覚トークンを不均等に破棄し、グラウンド化と推論性能を低下させる。
MM-ShiftKV, トレーニング不要, デコード対応, 厳密なプリフィルのみのKV選択法を提案する。
MM-ShiftKVは、分散拡張クエリプロキシを構築し、その集約された注目質量に基づいてKVの重要性を推定することにより、プリフィル中のデコード時クエリ動作を近似する。
マルチモーダルベンチマークの実験は、MM-ShiftKVが厳格なKV-cache予算の下で既存の手法を一貫して上回ることを示した。
私たちのコードはhttps://github.com/zjuDBxAI/MM-ShiftKVで利用可能です。
関連論文リスト
- CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。
Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文 参考訳（メタデータ） (2026-08-31T06:02:37Z) - Where Matters More Than What: Decoding-aligned KV Cache Compression via Position-aware Pseudo Queries [39.38028687042293]
キーバリュー(KV)キャッシュは、効率的なLarge Language Models(LLM)推論に不可欠である。
既存のKVキャッシュ圧縮手法は、プリフィル段階でトークンの重要性を推定するために入力側注意パターンに依存している。
位置認識型擬似クエリ(DapQ)を提案し,位置認識型擬似クエリによるKVキャッシュ圧縮を近似する。
論文 参考訳（メタデータ） (2026-03-12T05:36:32Z) - Learning to Evict from Key-Value Cache [17.365511268829703]
我々はKV Policyを紹介した。KV Policyはトークンのランク付けを学習するためのフレームワークであり、将来的な復号化に役立つと予測されている。
長文ベンチマークRULERとマルチターンダイアログベンチマークOASST2-4kの2種類のモデルファミリで評価した。
その結果、将来のトークンユーティリティを予測する学習は、適応的なKVキャッシュ管理のための強力でスケーラブルなパラダイムであることが示されている。
論文 参考訳（メタデータ） (2026-02-10T19:34:15Z) - SpecAttn: Co-Designing Sparse Attention with Self-Speculative Decoding [3.47505166101801]
SpecAttnは、検証誘導スパースアテンションを持つ自己投機的復号法である。
バニラ自動回帰復号法よりも2.81$times$高いスループットと、最先端のパリティベースの復号法よりも1.29$times$高いスループットを実現している。
論文 参考訳（メタデータ） (2026-02-06T22:12:52Z) - Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。
KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。
ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
論文 参考訳（メタデータ） (2025-09-13T03:34:12Z) - Draft-based Approximate Inference for LLMs [7.287280338330983]
本稿では,大規模言語モデル推論のための新しいフレームワークを提案する。
提案手法の2つのインスタンス化について述べる: (i) SpecKV, ドラフトアウトプットを利用してKVペアの重要性を正確に評価し, より効率的なKVキャッシュダウンを実現する方法, (ii) SpecPC, ドラフトモデルのアテンションアクティベーションを使用して重要でないプロンプトトークンを識別・破棄する手法。
我々の手法は、メモリ使用量、レイテンシ、スループットが同じ改善を保ちながら、既存のベースラインよりも常に高い精度を達成する。
論文 参考訳（メタデータ） (2025-06-10T02:37:46Z) - Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。
本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
論文 参考訳（メタデータ） (2025-02-20T22:24:27Z) - More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。
KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。
本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
論文 参考訳（メタデータ） (2024-12-17T09:20:31Z) - PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [97.41972925670508]
大規模視覚言語モデル(LVLM)は、推論中に重要な計算とメモリオーバーヘッドを引き起こす。
ここでは、PrefixKVについて述べる。ここでは、Prefixは、元のシーケンスの位置ではなく、重要度に基づいて、上位ランクのKVを意味する。
本手法は他の手法と比較して最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-12-04T15:48:59Z) - CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。
KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。
検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
論文 参考訳（メタデータ） (2024-04-24T16:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。