Fugu-MT 論文翻訳(概要): CONDUIT: A Unified Residual-Stream Restoration Framework for KV Cache Reuse in Vision-Language Models

論文の概要: CONDUIT: A Unified Residual-Stream Restoration Framework for KV Cache Reuse in Vision-Language Models

arxiv url: http://arxiv.org/abs/2609.05821v1
Date: Sat, 05 Sep 2026 02:34:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-12 12:36:46.971082
Title: CONDUIT: A Unified Residual-Stream Restoration Framework for KV Cache Reuse in Vision-Language Models
Title（参考訳）: CONDUIT:視覚言語モデルにおけるKVキャッシュ再利用のための統一された残留ストリーム復元フレームワーク
Abstract要約: トレーニング不要のリフレッシュポリシーであるCONDUITを提案する。 10%のリフレッシュ予算で、CONDUIT 97.0-99.5%は、3つのVLMバックボーンで対応するフルプリフィルの5セット平均を達成し、平均で予算案を導いた。
参考スコア（独自算出の注目度）: 32.623898255947374
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Vision-language models (VLMs) often answer new questions about recurring visual content, where reusing the key-value (KV) cache can avoid re-encoding expensive visual prefixes. Exact-prefix reuse, however, fails when the same visual content appears under a changed prefix. Selective recomputation can recover quality under a small visual-token budget, but only when the right stale tokens are refreshed. Raw-attention selection can waste budget on high-attention tokens with small value-norm proxy scores and on query-irrelevant images. To address these failure modes, we propose CONDUIT, a training-free refresh policy that unifies single- and multi-image reuse as residual-stream restoration. Building on norm-weighted attention, CONDUIT ranks cached visual tokens using cached-key query attention and an accessible pre-output cached-value-norm proxy, then applies empirical image-level relevance amplification before one global selection. With one image, the coefficient is one and the rule reduces to intra-image token selection. The method preserves model architecture and weights, adding only a single query-conditioned scoring pass at inference. At a 10% refresh budget, CONDUIT achieves 97.0-99.5% of the corresponding full-prefill five-dataset average across three VLM backbones and leads budgeted methods on average; on the MMLongBench-Doc latency subset, it uses 13.5% of full-prefill FLOPs and achieves a 2.99x time-to-first-token speedup.
Abstract（参考訳）: 視覚言語モデル(VLM)は、キー値(KV)キャッシュを再利用することで、高価な視覚的接頭辞の再エンコードを避けることができる。しかし、exact-prefixの再利用は、同じビジュアルコンテンツが変更したプレフィックスの下に現れると失敗する。選択的な再計算は、小さな視覚的な予算の下で品質を回復することができるが、正しい古いトークンが更新されるときのみである。ローアテンション選択は、小さな値ノルムプロキシスコアを持つ高アテンショントークンとクエリ非関連イメージの予算を無駄にする可能性がある。このような障害モードに対処するため,トレーニング不要のリフレッシュポリシであるCONDUITを提案する。標準重み付けされた注意に基づいて、CONDUITはキャッシュキークエリアテンションとアクセス可能なプリアウトプットキャッシュ-値-ノルムプロキシを使用してキャッシュされた視覚トークンをランク付けし、1つのグローバルセレクションの前に経験的な画像レベルの関連性を増幅する。 1つの画像の場合、係数は1であり、ルールは画像内トークン選択に還元される。この方法はモデルアーキテクチャと重みを保存し、推論時に単一のクエリ条件のスコアパスのみを追加する。 10%のリフレッシュ予算で、CONDUITは3つのVLMバックボーンで対応する5セット平均の97.0-99.5%を達成し、平均的なメソッドをリードする。

関連論文リスト

ReCache: Efficient KV Cache Reuse and Compression for Tool-Augmented LLM Agents [7.368551130048085]
textbfReCacheは、リソース表現を独立してキャッシュするためのフレームワークである。 7つの公開ツールとスキルユースデータセットから収集したベンチマークでReCacheを評価した。
論文参考訳（メタデータ） (2026-08-20T05:57:24Z)
Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文参考訳（メタデータ） (2026-07-30T02:42:51Z)
Position Rebinding Cache Reuse: Replay-Free Visual Revisiting for Interleaved Multimodal Reasoning [51.563653495547335]
マルチモーダル推論は、マルチステップ生成中に視覚的証拠を再考することによって、視覚的接地を改善する。再生不要な視覚的再考のためのキャッシュレベルフレームワークであるPlace Rebinding Cache Reuse (PRCR)を提案する。 PRCRはリプレイレベルまたはパフォーマンスの向上を実現し、平均精度を5%向上し、視覚的再考を最大数万倍削減する。
論文参考訳（メタデータ） (2026-06-25T05:47:52Z)
miniReranker: Efficient Multimodal Reranking through Visual Cache Reuse and Interaction Sparsity [21.54829080388454]
MLLM(Multimodal large language model)は、最近ポイントワイド・リランカとして大きな可能性を示している。しかし、ポイントワイドリグレードは、クエリーとドキュメントのペア間で大幅に繰り返される計算に悩まされる。本稿では,キャッシュ再利用の効率化と性能の見直しを両立させる,$textitvision-first$の定式化を提案する。
論文参考訳（メタデータ） (2026-06-09T12:11:02Z)
CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization [122.88484422855934]
本稿では,MeanFlowデコーダを備えた1次元因果画像トークンであるCaTokを紹介する。時間間隔でトークンを選択することで、CaTokは高速なワンステップ生成と高忠実なマルチステップサンプリングの両方をサポートする因果1D表現を学ぶ。実験により、CaTokはImageNet再構成の最先端の結果を達成し、0.75 FID、22.53 PSNR、0.674 SSIMに達した。
論文参考訳（メタデータ） (2026-03-06T16:39:17Z)
PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
論文参考訳（メタデータ） (2026-02-04T15:33:10Z)
CacheClip: Accelerating RAG with Effective KV Cache Reuse [8.016679032026824]
CacheClipは、高速TTFTとハイジェネレーション品質の両方を実現する新しいフレームワークである。本手法は,(1)選択的KVキャッシュ再計算のための補助モデル誘導トークン選択,(2)冗長な注意シンクを排除するための共有プレフィックス,(3)局所コヒーレンスを維持するためのグループ化戦略の3つの手法を統合する。
論文参考訳（メタデータ） (2025-10-11T09:28:26Z)
VisionThink: Smart and Efficient Vision Language Model via Reinforcement Learning [95.89543460132413]
視覚言語モデル(VLM)は、視覚トークンの数を増やすことで性能を改善した。しかし、現実世界のシナリオの多くは、このような膨大な数の視覚トークンを必要としない。視覚的トークン圧縮(VisionThink)のための新しいパラダイムを提案する。
論文参考訳（メタデータ） (2025-07-17T17:59:55Z)
PR-MIM: Delving Deeper into Partial Reconstruction in Masked Image Modeling [82.36394157396408]
マスク付き画像モデリングは、学習表現において大きな成功を収めてきたが、膨大な計算コストによって制限されている。コスト削減戦略の1つは、デコーダがマスクされたトークンのサブセットだけを再構築し、他のトークンを投げることである。本稿では, 投棄されたトークンを極めて軽量に再構成するための, プログレッシブ・リコンストラクション・ストラテジとファテスト・サンプリング・ストラテジーを提案する。
論文参考訳（メタデータ） (2024-11-24T07:48:20Z)
EPIC: Efficient Position-Independent Caching for Serving Large Language Models [19.510078997414606]
キャッシングは、リクエスト間でキーバリューベクトルを再利用することで、パフォーマンスを向上させる。既存のコンテキストキャッシュでは、リクエストにまたがる正確なプレフィックスが必要である。位置独立キャッシング (PIC) を導入し, プレフィックスによらず KV ベクトルのモジュラー再利用を可能にする。また、新しいLegoLinkアルゴリズムを取り入れたサービスシステムEPICも導入しています。
論文参考訳（メタデータ） (2024-10-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。