論文の概要: Visual Tokens on Demand: Visual Budgeting for Scalable and Efficient Multi-Image Reasoning in Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2610.18858v1
• Date: Tue, 13 Oct 2026 17:59:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:21:11.129638
• Title: Visual Tokens on Demand: Visual Budgeting for Scalable and Efficient Multi-Image Reasoning in Multimodal LLMs
• Title（参考訳）: 需要の視覚的トークン:マルチモーダルLLMにおけるスケーラブルで効率的なマルチイメージ推論のための視覚的予算化
• Abstract要約: マルチイメージ推論は、各画像が多くの視覚トークンを追加し、エンコーディングとアテンション要求が増加するため、コストがかかる。 我々は、クロスイメージコンテキストを介してクエリ条件付きトークン単位の予算を割り当てる軽量なプラグイン・アンド・プレイモジュールであるmmVBを提案する。 この減少は、フルレゾリューション精度の94.4%を維持しながら、5倍のタイム・ツー・ファースト・トケンと7倍のプリフィルFLOPが得られる。
• 参考スコア（独自算出の注目度）: 2.263249521093313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models have advanced rapidly, but most remain optimized for single-image inputs. Multi-image reasoning is costly because each image adds many visual tokens, increasing encoding and attention demands. Existing techniques that address the above issue, including visual token pruning, token merging, visual token compression, learned resampling, hierarchical compression, retrieval-augmented visual reasoning, and memory-based architectures, have largely been designed for single-image scenarios, where redundancy is primarily spatial and local. Multi-image reasoning introduces additional challenges: redundancy may occur across images, task-relevant evidence may be sparse or distributed, and aggressive per-image compression can remove details needed for comparison, counting, temporal reasoning, retrieval, or evidence grounding. Moreover, existing token-reduction methods are often either (i) training-free but inference-inefficient, typically relying on accessing attention matrices to get token-importance that may be impractical to access with memory-efficient attention implementations such as FlashAttention, or (ii) training-dependent, requiring the base MLLM to be retrained or adapted to a new compressed-token paradigm. In this work, we study scalable multi-image reasoning and understanding without retraining the base model and without accessing attention matrices at inference time. To this end, we propose mmVB, a lightweight plug-and-play module that assigns query-conditioned per-image token budgets via cross-image context, adding only 1.6M trainable parameters while reducing visual input tokens by 9x. This reduction yields 5x faster time-to-first-token and 7x fewer prefill FLOPs, while maintaining 94.4% of full-resolution accuracy across eight multi-image reasoning benchmarks.
• Abstract（参考訳）: マルチモーダルな大言語モデルは急速に進歩しているが、その多くはシングルイメージの入力に最適化されている。 マルチイメージ推論は、各画像が多くの視覚トークンを追加し、エンコーディングとアテンション要求が増加するため、コストがかかる。 上記の問題に対処する既存のテクニックとしては、視覚的トークンプルーニング、トークンマージ、視覚的トークン圧縮、学習された再サンプリング、階層的圧縮、検索強化された視覚推論、メモリベースのアーキテクチャなどがある。 画像間で冗長性が生じ、タスク関連エビデンスが疎外または分散し、アグレッシブな画像ごとの圧縮は、比較、カウント、時間的推論、検索、根拠づけに必要な詳細を取り除くことができる。 さらに、既存のトークン還元法は、しばしばそれらのいずれかである。 (i)トレーニング不要だが推論非効率で、一般的には注意行列にアクセスして、FlashAttentionのようなメモリ効率のよい注意実装でアクセスできないトークンの重要性を得る。 (II) 基礎MLLMの再訓練や新しい圧縮トーケンパラダイムへの適応を必要とする訓練依存型。 本研究では,ベースモデルの再学習や,推論時に注目行列にアクセスすることなく,スケーラブルなマルチイメージ推論と理解について検討する。 この目的のために,画像単位のクエリ条件付きトークン予算をクロスイメージコンテキストで割り当てる軽量なプラグイン・アンド・プレイモジュールであるmmVBを提案する。 この削減は8つのマルチイメージ推論ベンチマークで94.4%の精度を維持しながら、5倍のタイム・ツー・ファースト・ツー・ケンと7倍のプリフィルFLOPが得られる。

関連論文リスト

• Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification [80.62512020268626]
  UniARは統合された自己回帰フレームワークであり、単一のビジュアルトークン化器が理解と生成の鍵となる。 UniARは、マルチレベル特徴融合とルックアップフリービットワイド量子化スキームを備えた事前訓練されたビジョンエンコーダを適応する。 拡散に基づく視覚デコーダは、離散的な視覚トークンで高忠実度画像をデコードする。
  論文  参考訳（メタデータ） (2026-06-16T17:59:22Z)
• Reducing Peak Memory Usage for Modern Multimodal Large Language Model Pipelines [4.564896252406974]
  マルチモーダル大規模言語モデル (MLLM) は近年,多様な視覚的入力から応答を理解・生成する強力な能力を示した。 これらのモデルがよりリッチな視覚表現にスケールするにつれて、推論はキーバリューキャッシュに大量の視覚トークンを格納することにますます依存している。 MLLMは構造的規則性と表現的冗長性を示し、推論を通して記憶の増大を制御できることを示す。
  論文  参考訳（メタデータ） (2026-04-17T22:45:57Z)
• Enhancing Multi-Image Understanding through Delimiter Token Scaling [25.247506519133406]
  LVLM(Large Vision-Language Models)は,複数の画像が入力として提供されると,その性能が低下する。 主要な理由の1つはクロスイメージ情報漏洩であり、そこではモデルは異なる画像間で情報を区別するのに苦労する。 既存のLVLMでは、各画像の開始と終了をマークするためにトークンが既に使用されているが、分析の結果、これらのトークンがクロスイメージ情報漏洩を効果的にブロックできないことが判明した。 トークンの隠蔽状態を拡大する手法を提案する。これにより、画像内相互作用を強化し、望ましくないクロスを制限することにより、画像固有情報を保存できる能力が向上する。
  論文  参考訳（メタデータ） (2026-02-02T11:38:01Z)
• Parallel Vision Token Scheduling for Fast and Accurate Multimodal LMMs Inference [68.4758228017823]
  ParVTSは、ビジュアルトークンを被写体および非オブジェクトグループに分割し、それらを並列に処理し、それらのセマンティクスを疑問トークンに転送し、非オブジェクトパスミッド推論を破棄する。 実験の結果、ParVTSは最大88.9%の視覚トークンを出力し、最小性能が低下し、1.77倍のスピードアップと70%のFLOPが削減された。
  論文  参考訳（メタデータ） (2025-11-24T08:29:36Z)
• ViCO: A Training Strategy towards Semantic Aware Dynamic High-Resolution [71.69364653858447]
  既存のMLLM(Multimodal Large Language Models)は、画像入力によって導入された視覚トークンの追加により、推論コストが増大する。 本研究では,異なる数の視覚トークンを用いて,様々な複雑度の画像を表現可能な,新しい学習アルゴリズムであるVisual Consistency Learning (ViCO)を提案する。 実験の結果,モデルの知覚,推論,OCR能力を維持しつつ,視覚トークンの数を最大50%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-10-14T17:58:10Z)
• CATP: Contextually Adaptive Token Pruning for Efficient and Enhanced Multimodal In-Context Learning [15.733788584792388]
  マルチモーダル・イン・コンテクスト・ラーニング(ICL)を対象とした学習自由プルーニング手法であるCATP(Contextual Adaptive Token Pruning)を提案する。 画像トークンの77.8%を取り除いた後、CATPは4つのLVLMと8つのベンチマークでバニラモデルよりも平均0.6%の性能向上を達成した。 平均10.78%のレイテンシ削減を達成することで効率を効果的に向上する。
  論文  参考訳（メタデータ） (2025-08-11T11:41:51Z)
• Token-Shuffle: Towards High-Resolution Image Generation with Autoregressive Models [92.18057318458528]
  Token-ShuffleはTransformerにおける画像トークンの数を減らす新しい方法である。 我々の戦略は、事前訓練されたテキストエンコーダを必要とせず、MLLMが超高解像度画像合成をサポートできるようにする。 GenAIベンチマークでは、2.7Bモデルがハードプロンプトで0.77点、ARモデルLlamaGenが0.18点、拡散モデルLDMが0.15点である。
  論文  参考訳（メタデータ） (2025-04-24T17:59:56Z)
• ToFu: Visual Tokens Reduction via Fusion for Multi-modal, Multi-patch, Multi-image Task [34.269081635534526]
  ToFuは視覚的エンコーダに依存しない,トレーニング不要な,高解像度でマルチイメージなタスクのためのToken Fusion戦略を提案する。 LLaVA-Interleave Benchは,マルチイメージタスクに挑戦する手法である。
  論文  参考訳（メタデータ） (2025-03-06T14:00:59Z)
• Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。 高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。