論文の概要: CatchUp: Depth-Aware Re-Admission of Visual Tokens for Efficient Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.23324v2
• Date: Fri, 23 Oct 2026 12:56:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.181624
• Title: CatchUp: Depth-Aware Re-Admission of Visual Tokens for Efficient Large Vision-Language Models
• Title（参考訳）: CatchUp:高能率ビジョンランゲージモデルのための深度認識型視覚トークンの再入力
• Abstract要約: LVLM(Large Vision-Language Models)は、デコーダ層にまたがる数百の視覚トークンを繰り返し処理する。 可逆的視覚情報ルーティングと局所遷移補正(LTC)を組み合わせた学習自由フレームワークであるCatchUpを提案する。 64tokenの予算で、CatchUpはルート後デコーダ間隔あたり88.9%のアクティブなビジュアルトークンを処理し、92.17%の高密度モデルマルチモーダル性能を保持し、エンドツーエンドのレイテンシを8.0%削減した。
• 参考スコア（独自算出の注目度）: 11.157444783376837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) repeatedly process hundreds of visual tokens across decoder layers, incurring substantial computation and memory costs. Existing visual-token reduction methods often irreversibly discard tokens despite depth-varying query relevance. Although recoverable routing allows excluded tokens to return, re-admitted tokens retain stale hidden states after bypassing intermediate decoder transformations. Thus, token recoverability does not guarantee representation readiness at the current decoder depth. Under a fixed routing trajectory at a 64-token budget, replacing stale re-admitted states with current-depth oracle representations improves average RefCOCO Acc@0.5 from 18.96 to 23.18, revealing the impact of representation staleness. We propose CatchUp, a training-free framework combining reversible visual-token routing with Local Transition Correction (LTC). CatchUp repeatedly re-evaluates query-conditioned relevance over the complete visual-token set, preserving deferred tokens for later re-admission. LTC approximates their skipped representation evolution by transferring reference-to-current hidden-state transitions from semantically and spatially related active anchors. This correction improves alignment with current-depth oracle representations without recomputing the skipped decoder layers. Across three referring-expression grounding datasets and six multimodal benchmarks, CatchUp achieves the best grounding performance across all eight splits and the highest average multimodal retention among evaluated efficient methods at 64-, 128-, and 192-token budgets. At a 64-token budget, CatchUp processes 88.9% fewer active visual tokens per post-routing decoder interval, retains 92.17% of dense-model multimodal performance, and reduces end-to-end latency by 8.0%. Code is available at https://github.com/pej0918/CatchUp
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、デコーダ層にまたがる数百の視覚トークンを繰り返し処理し、相当な計算とメモリコストを発生させる。 既存の視覚的トーケン還元法は、深いクエリの関連性にもかかわらず、トークンを不可逆的に破棄することが多い。 復元可能なルーティングでは除外されたトークンを返すことができるが、再割り当てされたトークンは中間デコーダ変換をバイパスした後、隠れた状態を保持する。 したがって、トークンの復元性は、現在のデコーダ深さでの表現の即応性を保証するものではない。 64 tokenの予算で固定されたルーティング軌道の下では、古い再割り当てされた状態を現在の深さのオラクル表現に置き換え、平均 RefCOCO Acc@0.5 を 18.96 から 23.18 に改善し、表現の安定化の影響を明らかにした。 本稿では,可逆的な視覚情報ルーティングと局所遷移補正(LTC)を組み合わせた学習自由フレームワークであるCatchUpを提案する。 CatchUpは、完全なビジュアルトークンセットに対するクエリ条件の関連性を繰り返し再評価し、後続の再許可のための遅延トークンを保存する。 LTCは、参照から電流への隠れ状態遷移を意味的および空間的に関連する活性アンカーから転送することで、スキップされた表現の進化を近似する。 この補正は、スキップされたデコーダ層を再計算することなく、現在の深度オラクル表現との整合性を改善する。 3つの参照圧縮グラウンドデータセットと6つのマルチモーダルベンチマークで、CatchUpは、64-、128-、192-tokenの予算で評価された効率的な方法の中で、すべての8つの分割にまたがる最高のグラウンドリング性能と、平均的なマルチモーダル保持を達成している。 64tokenの予算で、CatchUpはルート後デコーダ間隔あたり88.9%のアクティブなビジュアルトークンを処理し、92.17%の高密度モデルマルチモーダル性能を保持し、エンドツーエンドのレイテンシを8.0%削減した。 コードはhttps://github.com/pej0918/CatchUpで入手できる。

関連論文リスト

• Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
  ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。 Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
  論文  参考訳（メタデータ） (2026-10-08T14:42:57Z)
• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models [53.964810481070636]
  大規模言語モデル(MLLM)における計算オーバーヘッドのかなりの部分を占める長い視覚トークンシーケンス 既存のアプローチは、冗長な視覚トークンを刈り取ることでこのコストを削減するが、その後のレイヤで有用になる可能性のある視覚的証拠を永久に破棄する。 視覚トークンの繰り返しトランスフォーマー進化を軽量な低ランクアダプタに置き換える$-Visionを提案する。
  論文  参考訳（メタデータ） (2026-09-28T11:52:45Z)
• STAR-Pro: Stage-Wise Token Adaptive Reduction with Progressive Refinement for Efficient Large Vision-Language Models [54.273344678561024]
  大規模視覚言語モデル(LVLM)は強力なマルチモーダル理解を実現するが、処理する数百から数千の視覚トークンは計算オーバーヘッドを課す。 視覚的トークンプルーニングの2つの相補的解析を行う。 視覚的トークンプルーニングのためのトレーニング不要な2段階フレームワークSTAR-Proを提案する。
  論文  参考訳（メタデータ） (2026-09-05T06:18:28Z)
• DIVE: Dynamic Iterative Visual Evidence Construction for Efficient Vision-Language Models [13.866355425347384]
  視覚言語モデルの視覚入力は、しばしばテキストよりもかなり長いトークンシーケンスに符号化される。 近年の手法では、トークンの重要度を判定し、低スコアのトークンを1回のパスでプルーニングすることで、このボトルネックに対処している。 この知見に触発されたDIVEは、動的エビデンス構築として視覚障害者のプルーニングをリキャストする、トレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-08-05T06:32:25Z)
• LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference [63.932718076408584]
  LASTは、エッジクラウド協調MLLM推論におけるクエリ依存のビジュアルトークンプルーニングのための、トレーニング不要のフレームワークである。 完全な精度の95.4%を維持し、視覚トークンの12.5%しか保持せず、エッジ側の選択オーバーヘッドは低く、クラウド側の計算は少ない。
  論文  参考訳（メタデータ） (2026-07-30T09:59:25Z)
• Identifiable Token Correspondence for World Models [13.514849821598832]
  Identible Token Correspondence (ITC) は、トークンベースのトランスフォーマー世界モデルのステップであり、構造化代入問題として次のフレーム予測を定式化する。 Craftax-classicベンチマークでは,ITCが72.5%,35.6%のリターンを達成した。
  論文  参考訳（メタデータ） (2026-05-15T05:58:58Z)
• Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
  本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。 COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
  論文  参考訳（メタデータ） (2026-05-10T09:07:04Z)
• TrimTokenator: Towards Adaptive Visual Token Pruning for Large Multimodal Models [4.779482139419908]
  テキストトークンと意味的に視覚トークンを除去する相互情報に基づくトークンプルーニング戦略を導入する。 LLaVA-15-7BやLLaVA-7Bといったモデルでは,テキストトークンを88.9%削減しながら高い性能を維持している。
  論文  参考訳（メタデータ） (2025-08-30T02:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。