論文の概要: Balancing Saliency and Coverage: Semantic Prominence-Aware Budgeting for Visual Token Compression in VLMs

• arxiv url: http://arxiv.org/abs/2603.14892v1
• Date: Mon, 16 Mar 2026 06:44:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:36.111426
• Title: Balancing Saliency and Coverage: Semantic Prominence-Aware Budgeting for Visual Token Compression in VLMs
• Title（参考訳）: VLMにおける視覚的トーケン圧縮のためのセマンティック・プロミネンスを考慮した予算化
• Abstract要約: セマンティック・プロミネンス・アウェアの予算配分と2段階選択パイプラインからなるサンプル適応型ビジュアルトークン選択フレームワークを提案する。 LLaVA-NeXT-7Bでは、FLOPを88%、プリフィル遅延を22%削減し、元の精度の97.5%を保存した。
• 参考スコア（独自算出の注目度）: 44.02979403592988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (VLMs) achieve strong multimodal understanding capabilities by leveraging high-resolution visual inputs, but the resulting large number of visual tokens creates a major computational bottleneck. Recent work mitigates this issue through visual token compression, typically compressing tokens based on saliency, diversity, or a fixed combination of both. We observe that the distribution of semantic prominence varies substantially across samples, leading to different optimal trade-offs between local saliency preservation and global coverage. This observation suggests that applying a static compression strategy across all samples can be suboptimal. Motivated by this insight, we propose PromPrune, a sample-adaptive visual token selection framework composed of semantic prominence-aware budget allocation and a two-stage selection pipeline. Our method adaptively balances local saliency preservation and global coverage according to the semantic prominence distribution of each sample. By allocating token budgets between locally salient regions and globally diverse regions, our method maintains strong performance even under high compression ratios. On LLaVA-NeXT-7B, our approach reduces FLOPs by 88% and prefill latency by 22% while preserving 97.5% of the original accuracy.
• Abstract（参考訳）: VLM(Large Vision-Language Models)は、高解像度の視覚入力を活用することで強力なマルチモーダル理解能力を実現するが、結果として大量の視覚トークンが大きな計算ボトルネックを生み出す。 最近の研究は、視覚的トークン圧縮によってこの問題を緩和し、典型的には、正当性、多様性、あるいは両者の固定的な組み合わせに基づいてトークンを圧縮する。 セマンティック・プロミネンス(セマンティック・プロミネンス)の分布はサンプルによって大きく異なっており、局所的なサリエンシ保存とグローバル・カバーとの間には最適なトレードオフが生じる。 この観察から,全てのサンプルに対して静的圧縮戦略を適用することは準最適であることが示唆された。 この知見に触発されたPromPruneは、セマンティック・プロミネンス・アウェアの予算配分と2段階選択パイプラインからなる、サンプル適応型ビジュアルトークン選択フレームワークである。 本手法は,各サンプルのセマンティック・プロミネンス分布に応じて,局所的な塩分保存とグローバルなカバレッジを適応的にバランスさせる。 局所的に有意な地域と多種多様な地域の間でトークンの予算を割り当てることで,高い圧縮比の下でも高い性能を維持することができる。 LLaVA-NeXT-7Bでは、FLOPを88%、プリフィル遅延を22%削減し、元の精度の97.5%を保存した。

関連論文リスト

• CoverPrune: Coverage-Driven Token Pruning for 3D VLMs via Optimal Transport [50.2610873651284]
  既存のトークンプルーニング法は、分散を最大化するために類似のトークンを捨て、多様性に基づいた選択に依存している。 3D環境では、この手法は典型的なプロトタイプトークンを落として、アウトリーチを優先することが多い。 本稿では,3次元VLMトークンプルーニングのパラダイムシフトを提案する。
  論文  参考訳（メタデータ） (2026-08-13T13:29:15Z)
• Efficiency Follows Global-Local Decoupling [62.05489838893081]
  ConvNeurは、軽量なニューラルメモリブランチがトークンの集合にグローバルなコンテキストを集約する2分岐アーキテクチャである。 学習ゲートは、グローバルなキューが目的を絞ることなく、局所的な特徴を調整できる。 標準的な分類、検出、セグメンテーションのベンチマークでは、ConvNeurは同等または低い計算で同等の選択肢にマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-03-20T02:20:16Z)
• LLMind: Bio-inspired Training-free Adaptive Visual Representations for Vision-Language Models [4.367067873280894]
  バイオインスパイアされた視覚表現法の最初の体系的解析について述べる。 本研究では,人間の視覚における葉的エンコーディングと皮質拡大を模倣する訓練不要のフレームワークであるLLMindを提案する。 その結果,VQAv2では平均で20%,Sed-Benchでは+38%,A-OKVQAでは+37%の改善が見られた。
  論文  参考訳（メタデータ） (2026-03-16T06:29:43Z)
• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
  ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。 空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。 実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-03T00:51:03Z)
• Towards Reliable and Holistic Visual In-Context Learning Prompt Selection [82.23704441763651]
  Visual In-Context Learning (VICL) は、視覚基礎モデルを新しいタスクに適用するための顕著なアプローチとして登場した。 部分2Global や VPR のような VICL の手法は、クエリ画像とより視覚的に類似したイメージが、より良いコンテキスト内例として機能するという類似性と優先度の仮定に基づいている。 本稿では、VICLにおけるテキスト内サンプルの信頼性と包括的選択のために、Partial2Globalの拡張版を提案する。
  論文  参考訳（メタデータ） (2025-09-30T09:23:12Z)
• Beyond Hard and Soft: Hybrid Context Compression for Balancing Local and Global Information Retention [30.580674811560613]
  大規模言語モデル(LLM)は、計算の非効率性と冗長な処理による長周期推論において重大な課題に直面する。 既存の方法は、ハードローカル圧縮や、ソフトグローバル圧縮のための遅延表現にコンテキストをエンコードするためにトークンの重要度に依存することが多い。 我々は,グローバルな視点とローカルな視点を統合してコンテキスト圧縮をガイドするHyCo$を提案する。
  論文  参考訳（メタデータ） (2025-05-21T17:26:11Z)
• Global Compression Commander: Plug-and-Play Inference Acceleration for High-Resolution Large Vision-Language Models [21.36437021964681]
  Global Compression Commander"はHR-LVLM用の新しいトークン圧縮フレームワークである。 GlobalCom$2$は90%以上のパフォーマンスを維持し、90%のビジュアルトークンを圧縮し、FLOPとピークメモリを9.1%と60%に削減している。
  論文  参考訳（メタデータ） (2025-01-09T11:57:58Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。