論文の概要: Pixel Decodability Is Not a Compression Signal: Causally Evaluating Importance Proxies for Visual KV-Cache Eviction

• arxiv url: http://arxiv.org/abs/2609.13012v1
• Date: Mon, 27 Jul 2026 08:13:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.51113
• Title: Pixel Decodability Is Not a Compression Signal: Causally Evaluating Importance Proxies for Visual KV-Cache Eviction
• Title（参考訳）: ピクセルの陰性性は圧縮信号ではない - Visual KV-Cache Evictionにおける重要なプロキシを因果的に評価する
• Abstract要約: 視覚的重要度モデルは、その視覚的キー-値キャッシュに相当量の画素分解可能な視覚的内容を保持する。 我々は,学習した画素反転デコーダを用いて保持率を測定し,単一超パッチKVアブレーションによる因果的使用について検討した。 我々は,視覚的KVキャッシュの情報軸として,画素復号性保持を特徴付ける。
• 参考スコア（独自算出の注目度）: 5.864346468963738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models retain a substantial amount of pixel-decodable visual content in their visual key-value cache. We show, in our setting, that this retention is task-inert: across our preregistered tests, how much a unit retains never positively tracks whether the computation that answers the question causally relies on it. We measure retention with a learned pixel-inversion decoder and causal use with single-super-patch KV ablation, the teacher-forced drop in gold-answer log-probability, and relate the two within images under a preregistered, sign-calibrated, held-out design. Retention is decoupled from attention and, in a well-powered null, from causal utilization. Utilization is not inert to every proxy: attention weakly but significantly tracks it, the only signal we find that does and the design's positive control. We characterize pixel-decodable retention as an informational axis of the visual KV cache, orthogonal to the functional one. How much task-inert content a cache holds differs by architecture in our model pair: the encoder-free model retains 2.7 times more than the encoder-based one. The engineering consequence is a controlled negative result. At super-patch granularity, deconfounded pixel-decodable retention ranks KV eviction no better than random; at token granularity it acquires only a weak inverse-importance signal at larger budgets, dominated at every budget by attention magnitude. In our setting, pixel-decodable reconstructability is not a competitive KV-compression signal at any granularity we test.
• Abstract（参考訳）: ヴィジュアル言語モデルは、そのビジュアルキーバリューキャッシュに相当量のピクセルデコッド可能なビジュアルコンテンツを保持している。 私たちの設定では、この保持はタスク不完全であることを示します。事前登録されたテストの中で、その疑問に答える計算が因果的にそれに依存するかどうかを、ユニットがどれくらい正に追跡していないかです。 学習した画素反転デコーダと単一超パッチKVアブレーションによる因果的使用, 教師によるゴールドアンサーの対数確率の低下, および, 予め登録し, サインキャリブレーションし, 保留設計した画像中の2つを関連づける。 保持は注意から切り離され、十分に力のあるnullは因果的利用から切り離される。 注意力は弱いが、それを著しく追跡し、それを見つける唯一の信号と、設計の肯定的な制御である。 我々は,画素復号性保持を視覚的KVキャッシュの情報軸として,機能的キャッシュと直交するものとして特徴付けている。 エンコーダフリーモデルは、エンコーダベースのものよりも2.7倍多く保持します。 エンジニアリングの結果はコントロールされた負の結果です。 超パッチの粒度では、分解された画素復号性保持ランクKVはランダムさに劣らず、トークンの粒度では、より大きな予算で弱い逆重要信号のみを取得し、すべての予算で注目度で支配される。 我々の設定では、画素復号化可能な再構成性は、テスト対象の粒度において競合するKV圧縮信号ではない。

関連論文リスト

• QuantWM: Temporally Consistent 2-Bit KV Cache Quantization for World Models and Video Generation [58.40720767342501]
  KVキャッシュメモリは、ビデオ生成とワールドモデルにとって、大きなデプロイメントボトルネックとなっている。 既存の2ビットKVキャッシュ量子化法は、重度の時間的フリッカリングと視覚的劣化を引き起こす。 トレーニング不要かつ厳密な2ビットKVキャッシュ量子化フレームワークであるQuantWMを提案する。
  論文  参考訳（メタデータ） (2026-09-22T13:50:54Z)
• RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache [28.54642982960947]
  大規模言語モデル(LLM)は様々なタスクにまたがって高い性能を示すが、長い入力コンテキストでの推論はメモリサイズと帯域幅によってボトルネックとなる。 既存のメソッドは、消去または量子化によってキャッシュを減らすが、通常は2つを分離して扱う。 本稿では、KVキャッシュ圧縮をレート歪み問題とみなし、同じビット割り当て方式の2つの端点の消去と量子化を行う。
  論文  参考訳（メタデータ） (2026-05-08T15:15:06Z)
• Pixelis: Reasoning in Pixels, from Seeing to Acting [2.5754366051855837]
  我々は,画像やビデオを直接操作するピクセルスペースエージェントであるPixelisを,コンパクトな実行可能な操作セットを通じて提示する。 6つの公開イメージとビデオベンチマークで、Pixelisは一貫して改善されている。
  論文  参考訳（メタデータ） (2026-03-26T06:57:00Z)
• No Token Left Behind: Reliable KV Cache Compression via Importance-Aware Mixed Precision Quantization [31.806112535762367]
  キーバリューキャッシングは、生成型大規模言語モデル(LLM)の推論速度とスループットを加速する重要な技術となっている。
  論文  参考訳（メタデータ） (2024-02-28T06:34:54Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。