論文の概要: How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A

• arxiv url: http://arxiv.org/abs/2605.16359v1
• Date: Sat, 09 May 2026 13:13:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 23:51:08.289847
• Title: How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A
• Title（参考訳）: マルチモーダル言語モデルに必要なビジュアルトークンはいくつあるか?
• Abstract要約: 視覚的トークンプルーニングのためのトレーニング不要ルータF3Aを提案する。 ライトウェイトなクェリコンディショニングキューを構築し、凍結したスパースセンサーヘッドを通してトークンと照合する。 厳密なエビデンスローカライゼーション、地域改良、カバー範囲保存競争、未発見領域の回復を通じて、固定された視覚トークン予算を割り当てている。
• 参考スコア（独自算出の注目度）: 35.028071915491104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models improve perception by feeding increasingly long visual token sequences into language backbones, but the resulting inference cost raises a basic scaling question: as multimodal models grow, how many visual tokens are actually needed, and how should they be allocated under a fixed visual token budget? Existing training-free pruning methods typically answer this with one-shot proxies such as decoder attention, visual similarity, or conditional diversity. We argue that visual token pruning is better viewed as task-conditioned evidence search, especially under aggressive compression and across model scales. We propose F^3A, a training-free router for visual token pruning that operates before the language model consumes image tokens. F^3A builds lightweight question-conditioned cues, matches them to visual-grid tokens through frozen sparse sensing heads, and allocates a fixed vision token budget via coarse evidence localization, local refinement, coverage-preserving competition, and recovery of under-covered regions. It requires no model training, no extra LLM forward pass and preserves the original multimodal prompting and decoding pipeline.
• Abstract（参考訳）: 視覚言語モデルは、ますます長い視覚トークンシーケンスを言語バックボーンに供給することによって知覚を改善するが、結果として生じる推論コストは、基本的なスケーリングの問題を引き起こす。 既存のトレーニングフリープルーニング手法では、デコーダの注意、視覚的類似性、条件付き多様性などの一発プロキシでこれを答えるのが一般的である。 視覚的トークンプルーニングは、特に積極的圧縮やモデルスケールでのタスク条件付きエビデンスサーチとして、より優れていると論じる。 F^3Aは,言語モデルが画像トークンを消費する前に動作する,視覚的トークン解析のための訓練不要ルータである。 F^3Aは、軽量な質問条件付きキューを構築し、凍結したスパースセンシングヘッドを介して視覚的にグリッドされたトークンとマッチングし、粗いエビデンスローカライゼーション、局所的な洗練、カバレッジ保護競争、未発見領域の回復を通じて固定された視覚トークン予算を割り当てる。 モデルトレーニングもLLMフォワードパスも不要で、オリジナルのマルチモーダルプロンプトとデコードパイプラインを保存できる。

関連論文リスト

• Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models [54.097381112138]
  現在の自己進化型LMMは、イメージキャプションや視覚的質問応答といった視覚言語理解タスクに苦慮している。 モデルの視覚条件を直接正規化する,純粋に教師なしの自己進化型フレームワークであるVISEを提案する。 VISEは、専門的な役割、外部報酬モデル、アノテーションなしで単一のモデル内で動作します。
  論文  参考訳（メタデータ） (2026-06-25T17:59:55Z)
• A More Word-like Image Tokenization for MLLMs [26.120899392740203]
  本稿では,コヒーレントなセマンティックユニットへのパッチの埋め込みをクラスタ化するDisentangled Visual Tokenization (DiVT)を提案する。 多様なマルチモーダルベンチマークで、DiVTはベースラインにマッチするか、はるかに少ないビジュアルトークンで超える。
  論文  参考訳（メタデータ） (2026-05-18T07:09:46Z)
• TrimTokenator-LC: Towards Adaptive Visual Token Pruning for Large Multimodal Models with Long Contexts [6.465999214817427]
  視覚トークンの数が増加すると、推論コストが大幅に増加する。 有望なソリューションとして、ビジュアルトークンプルーニングが登場した。 当社のアプローチでは、長期のコンテキスト設定でパフォーマンスを維持しながら、最大80%の視覚トークンを削減できます。
  論文  参考訳（メタデータ） (2025-12-28T02:40:56Z)
• See the Text: From Tokenization to Visual Reading [63.10220471118435]
  SeeTokはテキストを画像(ビジュアルテキスト)としてレンダリングし、事前訓練されたマルチモーダル計算を利用して解釈する。 3つの異なる言語タスクの中で、SeeeTokはサブワードトークンをマッチまたはオーバーし、トークンを4.43倍少なくし、FLOPを70.5%削減する。 SeeTokは、象徴的なトークン化から人間のような視覚的な読み方へとシフトし、より自然で認知的にインスパイアされた言語モデルへと一歩前進する。
  論文  参考訳（メタデータ） (2025-10-21T17:34:48Z)
• ZSPAPrune: Zero-Shot Prompt-Aware Token Pruning for Vision-Language Models [7.7352936204066]
  本稿では,タスク関連性と情報多様性のバランスとして,視覚トークンプルーニングをモデル化する新しいゼロショット手法を提案する。 本手法は,精度の低下を最小限に抑えて,最先端技術に適合または超越した性能を実現する。 これらのゲインには、GPUメモリフットプリントの大幅な削減と推論レイテンシが伴っている。
  論文  参考訳（メタデータ） (2025-10-20T06:18:47Z)
• TrimTokenator: Towards Adaptive Visual Token Pruning for Large Multimodal Models [4.779482139419908]
  テキストトークンと意味的に視覚トークンを除去する相互情報に基づくトークンプルーニング戦略を導入する。 LLaVA-15-7BやLLaVA-7Bといったモデルでは,テキストトークンを88.9%削減しながら高い性能を維持している。
  論文  参考訳（メタデータ） (2025-08-30T02:43:50Z)
• PoRe: Position-Reweighted Visual Token Pruning for Vision Language Models [12.189644988996022]
  本稿では,視覚的トークンプルーニングにおける遅延バイアスを軽減するための,極めて単純かつ効果的なアプローチを提案する。 画像内の空間的位置に応じて視覚的トークンの注意点を調節する簡単なリウェイト機構を提案する。 提案手法は,既存のビジュアルトークンプルーニングフレームワークにシームレスに組み込むことができるプラグイン・アンド・プレイソリューションである。
  論文  参考訳（メタデータ） (2025-08-25T08:56:32Z)
• CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
  LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。 既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。 我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:47:00Z)
• VisionThink: Smart and Efficient Vision Language Model via Reinforcement Learning [95.89543460132413]
  視覚言語モデル(VLM)は、視覚トークンの数を増やすことで性能を改善した。 しかし、現実世界のシナリオの多くは、このような膨大な数の視覚トークンを必要としない。 視覚的トークン圧縮(VisionThink)のための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-07-17T17:59:55Z)
• VScan: Rethinking Visual Token Reduction for Efficient Large Vision-Language Models [57.2662376527586]
  VScanは2段階のビジュアルトークン削減フレームワークである。 1)グローバルスキャンとローカルスキャンを視覚的エンコーディング中にマージすることで,(2)言語モデルの中間層にプルーニングを導入する。 VScanはプリフィルの2.91$times$スピードアップとFLOPの10$times$ダウンを実現し、オリジナルのパフォーマンスの95.4%を維持した。
  論文  参考訳（メタデータ） (2025-05-28T17:59:08Z)
• ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models [73.34709921061928]
  マルチモーダル大言語モデル(MLLM)に視覚的プロンプトを注入する学習自由手法を提案する。 我々は,エネルギー関数に基づいて学習可能な潜伏変数を最適化し,注目マップにおける参照領域の強度を高める。 提案手法は,参照能力のMLLMへの統合に有望な方向を与え,ボックス,マスク,スクリブル,ポイントによる参照を支援する。
  論文  参考訳（メタデータ） (2024-07-31T11:40:29Z)
• LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models [35.88374542519597]
  大規模マルチモーダルモデル(LMM)は、視覚エンコーダと大きな言語モデルとを接続することで、視覚的推論能力を示す。 近年のLMMには、高解像度の画像やビデオなど、より複雑な視覚入力が組み込まれており、視覚トークンの数が大幅に増加する。 我々は,LMMの性能を損なうことなく,視覚トークンの数を著しく削減する適応型視覚トークン削減戦略であるPruMergeを提案する。
  論文  参考訳（メタデータ） (2024-03-22T17:59:52Z)
• SA$^2$VP: Spatially Aligned-and-Adapted Visual Prompt [59.280491260635266]
  視覚的プロンプトチューニングの方法は、NLPから派生した逐次モデリングパラダイムに従う。 マイモデルモデルは、画像トークンマップに等しい大きさ(またはスケールした)の2次元プロンプトトークンマップを学習する。 我々のモデルは、個々の画像トークンをきめ細かな方法でプロンプトすることができる。
  論文  参考訳（メタデータ） (2023-12-16T08:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。