論文の概要: E2S-Pruner: Progressive Two-Stage Evidence Fusion for Visual Token Pruning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.23253v1
• Date: Mon, 24 Aug 2026 13:44:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.121429
• Title: E2S-Pruner: Progressive Two-Stage Evidence Fusion for Visual Token Pruning in Vision-Language Models
• Title（参考訳）: E2S-Pruner:視覚言語モデルにおける視覚トーケンプルーニングのためのプログレッシブな2段階エビデンス融合
• Abstract要約: 視覚的トークンプルーニングのための2段階のエビデンス融合フレームワークを提案する。 E2S-Prunerは、重要な、重要でない、不確実な3つの状態を使用して、それぞれの視覚トークンを表す。 LLaVA-1.5-7Bでは、E2S-Prunerが98.0%、96.8%、90.6%を維持している。
• 参考スコア（独自算出の注目度）: 12.765837057758127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models typically encode an image into hundreds of visual tokens, incurring substantial inference latency and GPU memory overhead. Existing pruning methods largely rely on attention scores and directly aggregate outputs across attention heads and network layers, making it difficult to characterize evidential uncertainty and conflict. We propose E2S-Pruner, a progressive two-stage evidence-fusion framework for visual token pruning that requires no auxiliary model, trainable parameters, or fine-tuning. In the first stage, E2S-Pruner treats each attention head as an independent evidence source, estimates its reliability from evidence clarity and inter-head consistency, and represents each visual token using three states: important, unimportant, and uncertain. In the second stage, Dempster--Shafer evidence theory is used to quantify inter-layer conflict and fuse complementary evidence from multiple network layers. We further introduce a spatial novelty constraint that promotes coverage of distinct image regions and prevents the retained tokens from concentrating in a few locally salient areas. On LLaVA-1.5-7B, E2S-Pruner retains 98.0%, 96.8%, and 90.6% of the aggregate performance when the average numbers of retained visual tokens are 192, 128, and 64, respectively, while improving throughput by 1.96x and 2.09x under the 128-token and 64-token settings. Experiments on Qwen2-VL-7B further demonstrate cross-model generalization. Code is available at https://github.com/taoyu-qian/E2S-Pruner.git.
• Abstract（参考訳）: ビジョン言語モデルは通常、イメージを数百の視覚トークンにエンコードし、相当な推論遅延とGPUメモリオーバーヘッドを引き起こす。 既存のプルーニング手法は、主に注意スコアに依存し、注意頭とネットワーク層を直接集約するので、明らかな不確実性と矛盾を特徴づけることは困難である。 E2S-Prunerは、補助モデル、トレーニング可能なパラメータ、微調整を必要としない、視覚トークンプルーニングのためのプログレッシブな2段階のエビデンス融合フレームワークである。 第一段階では、E2S-Prunerはそれぞれの注意ヘッドを独立した証拠源として扱い、その信頼性を証拠の明確さと頭間一貫性から推定し、重要な、重要でない、不確実な3つの状態を使ってそれぞれの視覚トークンを表現する。 第二段階では、Dempster-Shaferエビデンス理論は層間衝突を定量化し、複数のネットワーク層から補完的なエビデンスを融合するために用いられる。 さらに、異なる画像領域のカバレッジを促進し、保持トークンがいくつかの局所的に有意な領域に集中するのを防ぐ空間的ノベルティ制約を導入する。 LLaVA-1.5-7Bでは、E2S-Prunerは98.0%、96.8%、90.6%であり、保持される視覚トークンの平均数は192、128、64であり、スループットは128トークンと64トークン設定で1.96x、2.09x向上している。 Qwen2-VL-7Bの実験はクロスモデル一般化をさらに実証した。 コードはhttps://github.com/taoyu-qian/E2S-Pruner.gitで入手できる。

関連論文リスト

• STAR-Pro: Stage-Wise Token Adaptive Reduction with Progressive Refinement for Efficient Large Vision-Language Models [54.273344678561024]
  大規模視覚言語モデル(LVLM)は強力なマルチモーダル理解を実現するが、処理する数百から数千の視覚トークンは計算オーバーヘッドを課す。 視覚的トークンプルーニングの2つの相補的解析を行う。 視覚的トークンプルーニングのためのトレーニング不要な2段階フレームワークSTAR-Proを提案する。
  論文  参考訳（メタデータ） (2026-09-05T06:18:28Z)
• SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models [22.517061458809057]
  本稿では,視覚トークンの効率的なプラグアンドプレイプルーニング手法であるSepPruneを提案する。 SepPruneはLLMの組み込みプロジェクションパラメータを再利用し、アーキテクチャの変更を必要としない。 Qwen2.5-VL-7Bの実験では、SepPruneは最先端のパフォーマンスを達成し、元の精度の96.3%を維持し、80.2%の視覚トークンを除去した。
  論文  参考訳（メタデータ） (2026-07-28T15:01:02Z)
• Subtoken Vision Transformer for Fine-grained Recognition [21.033814568458897]
  SubViTは、きめ細かい視覚認識のための選択的な画像トークン化手法である。 これは、グローバルコンテキストのオリジナルのトークンシーケンスを保持しながら、複数のサブトークンを持つ識別パッチを表す。 DINOv2の平均新規カテゴリー精度を811.3%から84.7%に改善し、0.50$msの追加遅延と3.4%のFLOPが加わった。
  論文  参考訳（メタデータ） (2026-07-10T04:07:23Z)
• Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
  本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。 COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
  論文  参考訳（メタデータ） (2026-05-10T09:07:04Z)
• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• CaTok: Taming Mean Flows for One-Dimensional Causal Image Tokenization [122.88484422855934]
  本稿では,MeanFlowデコーダを備えた1次元因果画像トークンであるCaTokを紹介する。 時間間隔でトークンを選択することで、CaTokは高速なワンステップ生成と高忠実なマルチステップサンプリングの両方をサポートする因果1D表現を学ぶ。 実験により、CaTokはImageNet再構成の最先端の結果を達成し、0.75 FID、22.53 PSNR、0.674 SSIMに達した。
  論文  参考訳（メタデータ） (2026-03-06T16:39:17Z)
• See Less, See Right: Bi-directional Perceptual Shaping For Multimodal Reasoning [58.7125460363147]
  本稿では,質問条件付きマスキングビューを双方向の視線信号に変換する双方向知覚整形(BiPS)を提案する。 BiPSはQwen2.5-VL-7Bを平均8.2%向上させ、目に見えないデータセットやイメージタイプに対して、ドメイン外の強力な一般化を示す。
  論文  参考訳（メタデータ） (2025-12-26T18:59:47Z)
• D2Pruner: Debiased Importance and Structural Diversity for MLLM Token Pruning [49.16227597771663]
  D2Prunerは、デバイアスされた重要性と構造的なプルーニングメカニズムを組み合わせたフレームワークである。 FLOPを74.2%削減し、元の性能の99.2%を維持した。 既存の手法に比べて63.53%も改善されている。
  論文  参考訳（メタデータ） (2025-12-22T14:42:31Z)
• All You Need Are Random Visual Tokens? Demystifying Token Pruning in VLLMs [43.80391827200227]
  ディープレイヤでは、既存のトレーニングフリープルーニング手法はランダムプルーニングに勝る。 ビジュアルトークンは、ネットワーク深度の増加に伴い、徐々にサリエンスを失う。 深層層での単純なランダムプルーニングは性能と効率のバランスを効果的に表す。
  論文  参考訳（メタデータ） (2025-12-08T14:16:01Z)
• HiPrune: Training-Free Visual Token Pruning via Hierarchical Attention in Vision-Language Models [6.306822764683807]
  HiPruneは、ビジョンエンコーダのためのトレーニング不要でモデルに依存しないトークンプルーニングフレームワークである。 視覚エンコーダ内の階層的アテンション構造を利用する。 33.3%のトークンで99.3%のタスク精度を維持し、11.1%のトークンで99.5%の精度を維持している。
  論文  参考訳（メタデータ） (2025-08-01T11:48:11Z)
• UniTok: A Unified Tokenizer for Visual Generation and Understanding [63.23796622553615]
  視覚生成および理解モデルは通常、画像を処理するために異なるトークン化器に依存する。 我々は、新しいマルチコードブック量子化機構を備えた統一トークン化システムUniTokを紹介する。 最終的なパフォーマンスに関しては、UniTokはImageNetで0.38 rFIDと78.6%のゼロショット精度で新記録を樹立した。
  論文  参考訳（メタデータ） (2025-02-27T17:47:01Z)
• Scale Attention for Learning Deep Face Representation: A Study Against Visual Scale Variation [69.45176408639483]
  我々はスケール空間理論に頼って凸層を再構築する。 我々はSCale AttentioN Conv Neural Network(textbfSCAN-CNN)という新しいスタイルを構築した。 単発方式として、推論はマルチショット融合よりも効率的である。
  論文  参考訳（メタデータ） (2022-09-19T06:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。