論文の概要: When Text Matters: Design Principles for Visual Token Pruning in Vision-Language Model

• arxiv url: http://arxiv.org/abs/2609.34861v1
• Date: Mon, 28 Sep 2026 10:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:09:50.10123
• Title: When Text Matters: Design Principles for Visual Token Pruning in Vision-Language Model
• Title（参考訳）: テキストが重要なとき:視覚言語モデルにおける視覚的トーケンプルーニングの設計原理
• Abstract要約: 視覚トークンプルーニングは、大規模視覚言語モデルの計算コストを削減するための実践的なアプローチである。 我々は、初期視覚誘導プルーニングと遅延テキスト誘導再選択を分離する訓練不要な方法を開発した。 本手法は, 平均11.10ポイントの性能回復率において, 最良性能のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 7.554237564746049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual token pruning has been widely studied as a practical approach to reducing the computational cost of large vision-language models. However, it struggles to preserve essential visual information, which can lead to substantial performance degradation. In particular, image-based token selection can overlook task-relevant details, while text-guided token selection may fail to capture the text--visual relationships needed for complex reasoning. We find that applying textual guidance too early can limit its ability to identify answer-relevant visual regions, whereas text-to-visual attention becomes more informative at intermediate decoder depths. This finding motivates our training-free method, which separates early vision-guided pruning from deferred text-guided reselection. We first prune visual tokens using vision-encoder attention, retain additional candidates until the decoder midpoint, and then use text-to-visual attention to determine the final visual-token set. Across eight benchmarks and three models, our method outperforms the best-performing baselines by an average of 11.10 and 16.84 percentage points in performance recovery at 80% and 90% pruning, respectively, with comparable or lower LLM-prefill latency than most baselines. The source code is publicly available at https://github.com/kmc3661/DeFT
• Abstract（参考訳）: 視覚トークンプルーニングは、大規模視覚言語モデルの計算コストを削減するための実践的アプローチとして広く研究されている。 しかし、本質的な視覚情報を維持するのに苦労し、パフォーマンスが大幅に低下する可能性がある。 特に、画像ベースのトークン選択はタスク関連の詳細を見落としることができるが、テキスト誘導トークン選択は複雑な推論に必要なテキスト-視覚的関係をキャプチャできない可能性がある。 テキスト・ツー・ビジュアル・アテンションは中間デコーダの深さでより情報的になるのに対して,テキスト・ツー・ビジュアル・アテンションは早すぎると解答関連視覚領域を識別する能力に制限があることがわかった。 この発見は、初期の視覚誘導プルーニングと遅延テキスト誘導再選択を分離する、トレーニング不要な手法の動機付けとなる。 まず視覚エンコーダアテンションを用いて視覚トークンをプループし、デコーダミドルポイントまで追加候補を保持し、次にテキスト・ツー・ビジュアル・アテンションを用いて最終的な視覚トークンセットを決定する。 8つのベンチマークと3つのモデルで,提案手法は平均11.10点,平均16.84点,性能回復率を80%,プルーニング率90%で上回り,LLM前処理のレイテンシはほとんどのベースラインよりも低い。 ソースコードはhttps://github.com/kmc3661/DeFTで公開されている。

関連論文リスト

• Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
  視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。 これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。 トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
  論文  参考訳（メタデータ） (2025-06-27T14:55:40Z)
• Beyond Intermediate States: Explaining Visual Redundancy through Language [7.275188652473603]
  MLLM(Multi-modal Large Langue Models)はしばしば数千の視覚トークンを処理する。 低いViT-[cls]アソシエーションと低いテキスト・ツー・イメージアテンションスコアを持つビジュアルトークンは、認識可能な情報を含むことができる。 冗長な視覚トークンを識別および解析するための信頼性の高い手法を開発した。
  論文  参考訳（メタデータ） (2025-03-26T13:38:10Z)
• Beyond Text-Visual Attention: Exploiting Visual Cues for Effective Token Pruning in VLMs [34.3615740255575]
  大規模視覚言語モデル(LVLM)は一般的に、テキストのトークンよりもはるかに多くの視覚トークンを含んでいる。 LVLMにおけるより効果的なトークンプルーニングに視覚的手がかりを利用するプラグイン・アンド・プレイ方式であるVisPrunerを提案する。 その結果, VisPruner は LLaVA-1.5-7B の FLOP を 91% 削減し, 推論遅延を 75% 削減できることを示した。
  論文  参考訳（メタデータ） (2024-12-02T18:57:40Z)
• LoTLIP: Improving Language-Image Pre-training for Long Text Understanding [71.04947115945349]
  データを長いキャプションで再現するが、それを直接学習することで、短い文章の理解においてパフォーマンスが低下する可能性がある。 そして、モデルが元の短いテキスト理解レベルに追いつくのを手助けしますが、長いテキスト理解の能力を大幅に向上させます。 本手法は,長文画像検索タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-07T17:52:56Z)
• Visually-augmented pretrained language models for NLP tasks without images [77.74849855049523]
  既存のソリューションはしばしば視覚的知識増強のために明示的なイメージに依存している。 我々は、新しいtextbfVisually-textbfAugmented fine-tuningアプローチを提案する。 我々のアプローチは、BERT、RoBERTa、BART、T5を異なるスケールで継続的に改善することができる。
  論文  参考訳（メタデータ） (2022-12-15T16:13:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。