論文の概要: CatchUp: Depth-Aware Re-Admission of Visual Tokens for Efficient Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.23324v1
• Date: Fri, 16 Oct 2026 11:28:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.904366
• Title: CatchUp: Depth-Aware Re-Admission of Visual Tokens for Efficient Large Vision-Language Models
• Title（参考訳）: CatchUp:高能率ビジョンランゲージモデルのための深度認識型視覚トークンの再入力
• Abstract要約: CatchUpは、深度を意識した視覚的な再承認のためのトレーニング不要のフレームワークである。 選択した視覚トークンのみをデコーダ間隔で処理し、遅延トークンを後続の再許可のために保存する。 完全なモデルの性能の92.17%を6つのマルチモーダルベンチマークで維持し、エンドツーエンドのレイテンシを8.0%削減している。
• 参考スコア（独自算出の注目度）: 11.157444783376837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) repeatedly process hundreds of visual tokens across decoder layers, incurring substantial computation and memory costs. Existing inference-time visual token pruning methods often irreversibly remove low-ranked tokens, although the set of visual tokens receiving high query-conditioned attention can change across decoder depth. Recoverable routing preserves skipped tokens for later reconsideration, but re-admits them with stale representations after bypassing intermediate transformations. We further find that replacing stale re-admitted states with their current-depth oracle states from a full-token reference trajectory substantially improves grounding performance. We therefore propose CatchUp, a training-free framework for depth-aware visual-token re-admission. CatchUp repeatedly re-evaluates query-conditioned visual relevance, processes only selected visual tokens through each decoder interval, and preserves deferred tokens for later re-admission. Upon re-admission, CatchUp approximates missed representation evolution using reference-to-current transition signals from semantically and spatially related visual tokens. Across three referring-expression grounding datasets and six multimodal benchmarks, CatchUp achieves the highest average relative retention in both benchmark groups at 64-, 128-, and 192-token budgets. At a 64-token budget with 88.9% fewer active visual tokens, CatchUp retains 92.17% of the full model's performance on average across six multimodal benchmarks while reducing end-to-end latency by 8.0%. Code is available at https://github.com/pej0918/CatchUp
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、デコーダ層にまたがる数百の視覚トークンを繰り返し処理し、相当な計算とメモリコストを発生させる。 既存の推論時視覚トークンプルーニング手法は、しばしば低ランクトークンを不可逆的に除去するが、クエリ条件の高い注目を受ける視覚トークンのセットはデコーダの深さによって変化することがある。 復元可能なルーティングは、後に再考するためにスキップされたトークンを保存するが、中間変換をバイパスした後、古い表現で再割り当てする。 さらに,古い再帰状態と現在の深度オラクル状態とをフルトーケン参照軌道から置き換えることにより,グラウンドリング性能が大幅に向上することが判明した。 そこで我々は,深度を意識した視覚的再帰のためのトレーニングフリーフレームワークであるCatchUpを提案する。 CatchUpは、クエリ条件付き視覚的関連性を再評価し、デコーダ間隔ごとに選択された視覚的トークンのみを処理し、後続の再許可のために遅延トークンを保存する。 再帰すると、CatchUpは、意味的および空間的に関連付けられた視覚トークンからの参照から電流への遷移信号を用いて、表現の進化が遅れたことを近似する。 3つの参照圧縮グラウンドデータセットと6つのマルチモーダルベンチマークで、CatchUpは2つのベンチマークグループにおいて、64-、128-、192-tokenの予算で最も平均的な相対的保持を達成している。 アクティブなビジュアルトークンを88.9%削減した64の予算で、CatchUpは6つのマルチモーダルベンチマークで平均92.17%の性能を維持し、エンドツーエンドのレイテンシを8.0%削減した。 コードはhttps://github.com/pej0918/CatchUpで入手できる。

関連論文リスト

• Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
  ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。 Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
  論文  参考訳（メタデータ） (2026-10-08T14:42:57Z)
• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models [53.964810481070636]
  大規模言語モデル(MLLM)における計算オーバーヘッドのかなりの部分を占める長い視覚トークンシーケンス 既存のアプローチは、冗長な視覚トークンを刈り取ることでこのコストを削減するが、その後のレイヤで有用になる可能性のある視覚的証拠を永久に破棄する。 視覚トークンの繰り返しトランスフォーマー進化を軽量な低ランクアダプタに置き換える$-Visionを提案する。
  論文  参考訳（メタデータ） (2026-09-28T11:52:45Z)
• STAR-Pro: Stage-Wise Token Adaptive Reduction with Progressive Refinement for Efficient Large Vision-Language Models [54.273344678561024]
  大規模視覚言語モデル(LVLM)は強力なマルチモーダル理解を実現するが、処理する数百から数千の視覚トークンは計算オーバーヘッドを課す。 視覚的トークンプルーニングの2つの相補的解析を行う。 視覚的トークンプルーニングのためのトレーニング不要な2段階フレームワークSTAR-Proを提案する。
  論文  参考訳（メタデータ） (2026-09-05T06:18:28Z)
• DIVE: Dynamic Iterative Visual Evidence Construction for Efficient Vision-Language Models [13.866355425347384]
  視覚言語モデルの視覚入力は、しばしばテキストよりもかなり長いトークンシーケンスに符号化される。 近年の手法では、トークンの重要度を判定し、低スコアのトークンを1回のパスでプルーニングすることで、このボトルネックに対処している。 この知見に触発されたDIVEは、動的エビデンス構築として視覚障害者のプルーニングをリキャストする、トレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-08-05T06:32:25Z)
• LAST: The Last Query Token Guides Visual Token Pruning for Edge-Cloud Collaborative MLLM Inference [63.932718076408584]
  LASTは、エッジクラウド協調MLLM推論におけるクエリ依存のビジュアルトークンプルーニングのための、トレーニング不要のフレームワークである。 完全な精度の95.4%を維持し、視覚トークンの12.5%しか保持せず、エッジ側の選択オーバーヘッドは低く、クラウド側の計算は少ない。
  論文  参考訳（メタデータ） (2026-07-30T09:59:25Z)
• Identifiable Token Correspondence for World Models [13.514849821598832]
  Identible Token Correspondence (ITC) は、トークンベースのトランスフォーマー世界モデルのステップであり、構造化代入問題として次のフレーム予測を定式化する。 Craftax-classicベンチマークでは,ITCが72.5%,35.6%のリターンを達成した。
  論文  参考訳（メタデータ） (2026-05-15T05:58:58Z)
• Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
  本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。 COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
  論文  参考訳（メタデータ） (2026-05-10T09:07:04Z)
• TrimTokenator: Towards Adaptive Visual Token Pruning for Large Multimodal Models [4.779482139419908]
  テキストトークンと意味的に視覚トークンを除去する相互情報に基づくトークンプルーニング戦略を導入する。 LLaVA-15-7BやLLaVA-7Bといったモデルでは,テキストトークンを88.9%削減しながら高い性能を維持している。
  論文  参考訳（メタデータ） (2025-08-30T02:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。