論文の概要: Balancing Saliency and Coverage: Semantic Prominence-Aware Budgeting for Visual Token Compression in VLMs

• arxiv url: http://arxiv.org/abs/2603.14892v1
• Date: Mon, 16 Mar 2026 06:44:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:36.111426
• Title: Balancing Saliency and Coverage: Semantic Prominence-Aware Budgeting for Visual Token Compression in VLMs
• Title（参考訳）: VLMにおける視覚的トーケン圧縮のためのセマンティック・プロミネンスを考慮した予算化
• Authors: Jaehoon Lee, Mingi Jung, Soohyuk Jang, Seungryong Yoo, Dahuin Jung, Sungroh Yoon,
• Abstract要約: セマンティック・プロミネンス・アウェアの予算配分と2段階選択パイプラインからなるサンプル適応型ビジュアルトークン選択フレームワークを提案する。 LLaVA-NeXT-7Bでは、FLOPを88%、プリフィル遅延を22%削減し、元の精度の97.5%を保存した。
• 参考スコア（独自算出の注目度）: 44.02979403592988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision-Language Models (VLMs) achieve strong multimodal understanding capabilities by leveraging high-resolution visual inputs, but the resulting large number of visual tokens creates a major computational bottleneck. Recent work mitigates this issue through visual token compression, typically compressing tokens based on saliency, diversity, or a fixed combination of both. We observe that the distribution of semantic prominence varies substantially across samples, leading to different optimal trade-offs between local saliency preservation and global coverage. This observation suggests that applying a static compression strategy across all samples can be suboptimal. Motivated by this insight, we propose PromPrune, a sample-adaptive visual token selection framework composed of semantic prominence-aware budget allocation and a two-stage selection pipeline. Our method adaptively balances local saliency preservation and global coverage according to the semantic prominence distribution of each sample. By allocating token budgets between locally salient regions and globally diverse regions, our method maintains strong performance even under high compression ratios. On LLaVA-NeXT-7B, our approach reduces FLOPs by 88% and prefill latency by 22% while preserving 97.5% of the original accuracy.
• Abstract（参考訳）: VLM(Large Vision-Language Models)は、高解像度の視覚入力を活用することで強力なマルチモーダル理解能力を実現するが、結果として大量の視覚トークンが大きな計算ボトルネックを生み出す。 最近の研究は、視覚的トークン圧縮によってこの問題を緩和し、典型的には、正当性、多様性、あるいは両者の固定的な組み合わせに基づいてトークンを圧縮する。 セマンティック・プロミネンス(セマンティック・プロミネンス)の分布はサンプルによって大きく異なっており、局所的なサリエンシ保存とグローバル・カバーとの間には最適なトレードオフが生じる。 この観察から,全てのサンプルに対して静的圧縮戦略を適用することは準最適であることが示唆された。 この知見に触発されたPromPruneは、セマンティック・プロミネンス・アウェアの予算配分と2段階選択パイプラインからなる、サンプル適応型ビジュアルトークン選択フレームワークである。 本手法は,各サンプルのセマンティック・プロミネンス分布に応じて,局所的な塩分保存とグローバルなカバレッジを適応的にバランスさせる。 局所的に有意な地域と多種多様な地域の間でトークンの予算を割り当てることで,高い圧縮比の下でも高い性能を維持することができる。 LLaVA-NeXT-7Bでは、FLOPを88%、プリフィル遅延を22%削減し、元の精度の97.5%を保存した。

関連論文リスト

• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• Towards Reliable and Holistic Visual In-Context Learning Prompt Selection [82.23704441763651]
  Visual In-Context Learning (VICL) は、視覚基礎モデルを新しいタスクに適用するための顕著なアプローチとして登場した。 部分2Global や VPR のような VICL の手法は、クエリ画像とより視覚的に類似したイメージが、より良いコンテキスト内例として機能するという類似性と優先度の仮定に基づいている。 本稿では、VICLにおけるテキスト内サンプルの信頼性と包括的選択のために、Partial2Globalの拡張版を提案する。
  論文  参考訳（メタデータ） (2025-09-30T09:23:12Z)
• Global Compression Commander: Plug-and-Play Inference Acceleration for High-Resolution Large Vision-Language Models [21.36437021964681]
  Global Compression Commander"はHR-LVLM用の新しいトークン圧縮フレームワークである。 GlobalCom$2$は90%以上のパフォーマンスを維持し、90%のビジュアルトークンを圧縮し、FLOPとピークメモリを9.1%と60%に削減している。
  論文  参考訳（メタデータ） (2025-01-09T11:57:58Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。