論文の概要: Bifocal: Training-Free Mixed Granularity Visual Token Pruning for Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2610.18399v1
• Date: Tue, 13 Oct 2026 13:46:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 21:33:22.573435
• Title: Bifocal: Training-Free Mixed Granularity Visual Token Pruning for Multimodal LLMs
• Title（参考訳）: マルチモーダルLCMのためのトレーニング不要な混合粒度視覚トケニング
• Abstract要約: Bifocalは、混合粒度フレームワーク上に構築されたトレーニングフリーで2段階のプルーニング手法である。 クエリにフォーカスした、イメージ固有のエビデンスに、別の予算を割り当てる。 両焦点は9つのモデル予算設定で平均1位である。
• 参考スコア（独自算出の注目度）: 19.763765160169672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual token pruning for multimodal large language models (MLLMs) appears highly effective, with existing methods retaining over 95% of unpruned performance on common VQA benchmarks using a quarter of the visual tokens or fewer. However, our extensive evaluation of ten methods across three MLLM families and five ability groups reveals a critical gap: strong general performance often comes at the cost of severe degradation on fine-grained tasks such as OCR and visual grounding. We trace these failures to two limitations of the prevailing paradigm of retaining the highest-ranked native patches. A single importance ranking overlooks the complementary evidence required by different tasks, while sparse patch selection disrupts both image content and spatial integrity. To address these limitations, we propose Bifocal, a training-free, two-stage pruning method built on a mixed-granularity framework. It allocates separate budgets to query-focused and image-intrinsic evidence, complemented by a pooled coarse representation of the entire image. Before the LLM, Bifocal matches question words to visual regions through a soft conjunction balanced against norm-debiased image saliency, while selecting image-intrinsic evidence to maximize representational coverage. Inside the LLM, it further prunes tokens using density-adjusted text-to-image attention. With roughly a quarter of the original visual tokens, Bifocal is the only evaluated method to retain over 90% of unpruned performance in every ability group across all three models, and ranks first on average in all nine model-budget settings. The code is available at: https://github.com/EIT-NLP/Bifocal
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)に対するビジュアルトークンのプルーニングは非常に効果的で、既存の手法では、ビジュアルトークンの4分の1以下を使用して、一般的なVQAベンチマークで95%以上の未実行性能を維持している。 しかし,3つのMLLMファミリーと5つの能力グループにまたがる10つの手法を広範囲に評価した結果,OCRや視覚的グラウンドニングといった細粒度タスクにおいて,高い総合的な性能が著しく低下するリスクが伴うことが明らかとなった。 これらの失敗は、最もランクの高いネイティブパッチを保持するという、一般的なパラダイムの2つの制限に遡る。 単一の重要なランキングは、異なるタスクで要求される補完的な証拠を見落とし、スパースパッチの選択は、画像の内容と空間的整合性の両方を妨害する。 これらの制約に対処するために,混合粒度フレームワーク上に構築されたトレーニングフリーの2段階プルーニング手法であるBifocalを提案する。 クエリにフォーカスし、画像固有のエビデンスに予算を割り当て、画像全体の粗い表現をプール化して補完する。 LLMの前には、バイフォーカスは、標準偏差のイメージ・サリエンシとバランスのとれたソフトな結合を通して、質問語と視覚領域をマッチングし、画像固有の証拠を選択して表現範囲を最大化する。 LLM内では、密度調整されたテキスト・ツー・イメージ・アテンションを使用してトークンをプーンする。 オリジナルの視覚トークンの約4分の1は、すべての3つのモデルにまたがるすべての能力グループで90%以上の未処理のパフォーマンスを維持できる唯一の評価方法であり、9つのモデル予算設定で平均1位である。 コードは、https://github.com/EIT-NLP/Bifocalで入手できる。

関連論文リスト

• Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
  ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。 Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
  論文  参考訳（メタデータ） (2026-10-08T14:42:57Z)
• Adapting Vision-Language Models from Iconic to Inclusive for Multi-Label Recognition Without Labels [14.373553090930612]
  ヴィジュアル言語モデル(VLM)はラベル付きデータなしでゼロショット認識を可能にする。 これらのモデルは、しばしば最も象徴的なオブジェクトを優先順位付けし、他の文脈陽性を省略する。 本稿では,VLMをアイコン認識から包括的理解に適応させる,教師なしのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-10T03:41:50Z)
• One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination [46.864482139261675]
  現在のトレーニングフリー手法は、MLLM幻覚に異なる戦略で取り組む。 本稿では,コアアセットであるビジョントークンに着目した統一フレームワークを提案する。 これら2つの役割を調和させることで、我々のフレームワークは視覚言語バランスを効果的に回復する。
  論文  参考訳（メタデータ） (2026-03-11T03:19:46Z)
• CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
  LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。 既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。 我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:47:00Z)
• BlindSight: Harnessing Sparsity for Efficient VLMs [4.756688231351083]
  BlindSightは、入力テンプレート認識型注意空間マスクを用いてVLM推論を最適化するためのトレーニング不要なアプローチである。 BlindSightは、多くの評価されたマルチイメージ理解ベンチマークにおいて、オリジナルのモデルと比較して平均で32%-41%のFLOPを -2%-+2%の精度で削減する。
  論文  参考訳（メタデータ） (2025-07-11T23:15:30Z)
• FG-CLIP: Fine-Grained Visual and Textual Alignment [3.830067625507938]
  本稿では,3つの重要なイノベーションを通じて微細な理解を深めるファイングラインドCLIPを提案する。 我々は、大容量マルチモーダルモデルを用いて、世界レベルのセマンティックディテールをキャプチャするために、160億の長いキャプションイメージペアを生成する。 我々は、高品質な領域固有のアノテーションと、きめ細かい負のサンプルを統合することで、FinHARDと呼ばれる包括的データセットを構築した。
  論文  参考訳（メタデータ） (2025-05-08T09:06:53Z)
• Matryoshka Multimodal Models [92.41824727506751]
  我々はM3: Matryoshka Multimodal Modelsを提案する。 COCOスタイルのベンチマークでは,576個のトークンを使用する場合と同様の精度を得るために,9個のビジュアルトークンしか必要としないことがわかった。
  論文  参考訳（メタデータ） (2024-05-27T17:59:56Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。