論文の概要: Messages, Not Tokens: Grounded Coresets for Faithful VLM Compression
- arxiv url: http://arxiv.org/abs/2608.02134v1
- Date: Mon, 03 Aug 2026 12:23:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.527306
- Title: Messages, Not Tokens: Grounded Coresets for Faithful VLM Compression
- Title（参考訳）: メッセージはTokensではなく: 忠実なVLM圧縮のための接地されたコアセット
- Abstract要約: 現代の視覚言語モデル(VLM)は高解像度画像を視覚トークンの長いシーケンスに変換する。
我々は,クエリ・グラウンド,外観,座標認識のエビデンスに対するサポートを共同で割り当てる,トレーニングフリーのGrounded Message Coreset Pruning(GMC)を紹介した。
我々は、GMC-H2がQwen2.5-VL-7B上で97.78%の完全相対平均値を80.2%減少させ、GMC-L16が100.36%に達することを示した。
- 参考スコア（独自算出の注目度）: 34.18938906209582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern vision language models (VLMs) turn high-resolution images into long sequences of visual tokens. Every token traverses the language decoder and persists in its prompt KV cache, inflating inference cost and motivating aggressive visual compression. Existing score-based methods assign each token an independent importance score and retain the Top-K. However, text queries consume collective, signed attention messages from the visual population, not isolated patches. Consequently, equally sized Top-K sets can repeatedly cover one salient region, omit sparse but complementary evidence and discard information carried by the removed population. We therefore formulate faithful visual compression as constructing a compact coreset for decoder messages, and introduce our training-free Grounded Message Coreset Pruning (GMC) which jointly allocates support across query-grounded, appearance, and coordinate-aware evidence, then transports discarded states into selected representatives at their original multimodal positions before physical compaction and native attention resume. This decomposes faithful compression into two coupled components, including selecting carriers that cover the required message modes and realizing the signed population message on those carriers. We further derive bounds connecting their errors to signed-message distortion, visual innovation, and candidate-margin stability. Experiments across multiple VLM families and diverse benchmarks demonstrate strong performance, with GMC-H2 retaining 97.78% Full-relative mean capability on Qwen2.5-VL-7B using 80.2% fewer visual tokens, while GMC-L16 reaches 100.36%. Controlled interventions verify that collective support and population realization jointly drive these gains.
- Abstract（参考訳）: 現代の視覚言語モデル(VLM)は高解像度画像を視覚トークンの長いシーケンスに変換する。
各トークンは言語デコーダを横切り、即座にKVキャッシュに永続化し、推論コストを膨らませ、攻撃的な視覚的圧縮を動機付ける。
既存のスコアベースのメソッドは、各トークンに独立した重要なスコアを割り当て、トップKを保持する。
しかし、テキストクエリは、個別のパッチではなく、視覚集団からの集合的で署名された注意メッセージを消費する。
その結果、同じ大きさのTop-Kセットは、1つの静かな領域を何度もカバーし、スパースを省略するが相補的な証拠を排除し、削除された人口によって運ばれた情報を破棄することができる。
そこで我々は,デコーダメッセージ用のコンパクトコアセットの構築として忠実な視覚的圧縮を定式化し,クエリグラウンド,外観,座標認識エビデンス間のサポートを共同で割り当てる,トレーニングフリーのGrounded Message Coreset Pruning (GMC)を導入し,物理圧縮とネイティブアテンションの再開前に,削除された状態を元のマルチモーダル位置の代表者へ転送する。
これは、2つの結合されたコンポーネントに忠実な圧縮を分解し、必要なメッセージモードをカバーするキャリアを選択し、それらのキャリア上で署名された集団メッセージを実現する。
さらに、それらのエラーを署名されたメッセージの歪み、視覚的革新、そして候補の安定性に結びつける境界を導出します。
GMC-H2は97.78%、Qwen2.5-VL-7Bでは80.2%、GMC-L16では100.36%である。
制御された介入は、集団的支援と人口実現がこれらの利益を共同で導くことを検証する。
関連論文リスト
- Aggregating Visual Information with Optimal Transport for VideoLM Token Compression [55.867497983465476]
ビデオ言語モデルは、ビデオを表現の冗長性に富んだ濃密な視覚的なシーケンスとして処理する。
これらのシーケンスは、言語モデルデコーディングにおける視覚的負担を軽減するために不可欠である。
AVIOT(Aggregating Visual Information with Optimal Transport)を導入し,フレーム観測の高密度な経験的指標としてビデオトークン圧縮を論じる。
論文 参考訳（メタデータ） (2026-08-20T18:05:42Z) - Post-Hoc Sparse Coding of Latent Communication Between Vision-Language Model Agents [4.556640962276085]
Vision Wormhole は、視覚的特徴を他のモデルで使用可能な普遍的な潜在表現に変換することで、このアプローチを実現している。
すべてのメッセージは、その内容に関係なく、同じ大きさの密度のテンソルとして転送される。
この観察は、通信チャネルが実質的に圧縮可能であることを示唆している。
論文 参考訳（メタデータ） (2026-08-10T20:16:38Z) - Calibrate Before Reason: Robust Visual Token Reduction against Semantic Drift in VLMs [26.936352183867854]
CaReは,1)多方向摂動下で安定なモデル側の影響を持つアンカーを識別する摂動ロバストアンカリング,2)未選択トークンから信頼性の高い校正信号を抽出しアンカーに注入する信頼性ゲートトケンの2つの相互補完モジュールから構成される。
視覚トークンの94.4%をプルーニングする一方で、本手法は元のフルトーケン性能の96.4%を保持し、未使用バニラモデルと比較して最大2.30倍高速なエンドツーエンド推論速度を実現する。
論文 参考訳（メタデータ） (2026-07-30T05:36:29Z) - VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression [52.23010472235226]
視覚言語モデル(VLM)は大量の視覚トークンを処理し、かなりの推論とオーバーヘッドレイテンシをもたらす。
本稿では,VLM自体を固有圧縮機として再利用する,トレーニング効率のよい自己圧縮フレームワークであるVisCoを提案する。
論文 参考訳（メタデータ） (2026-07-14T13:21:36Z) - SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。
最近の圧縮法はトークンマージによるコストを軽減している。
これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-19T17:44:56Z) - Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。
COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
論文 参考訳（メタデータ） (2026-05-10T09:07:04Z) - Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。
2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。
LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
論文 参考訳（メタデータ） (2026-03-10T10:31:58Z) - ApET: Approximation-Error Guided Token Compression for Efficient VLMs [16.4657793751671]
本稿では,近似エラーガイド付きToken圧縮フレームワークであるApETを紹介する。
ApETは、画像理解タスクのオリジナルパフォーマンスの95.2%を保持し、ビデオ理解タスクの100.4%を達成している。
ApETは無注意設計のため、FlashAttentionとシームレスに統合され、さらなる推論を可能にし、VLMのデプロイをより実用的なものにしている。
論文 参考訳（メタデータ） (2026-02-23T14:15:37Z) - See Less, See Right: Bi-directional Perceptual Shaping For Multimodal Reasoning [58.7125460363147]
本稿では,質問条件付きマスキングビューを双方向の視線信号に変換する双方向知覚整形(BiPS)を提案する。
BiPSはQwen2.5-VL-7Bを平均8.2%向上させ、目に見えないデータセットやイメージタイプに対して、ドメイン外の強力な一般化を示す。
論文 参考訳（メタデータ） (2025-12-26T18:59:47Z) - FlashVLM: Text-Guided Visual Token Selection for Large Multimodal Models [28.507631461458093]
大規模な視覚言語モデル(VLM)は通常、画像やビデオフレームごとに数百から数千の視覚トークンを処理する。
問合せに視覚入力を動的に適応するテキストガイド型視覚トークン選択フレームワークであるFlashVLMを提案する。
FlashVLMは、投影された画像トークンと言語モデル空間における正規化テキスト埋め込みとの明示的なクロスモーダルな類似性を計算する。
論文 参考訳（メタデータ） (2025-12-23T18:05:43Z) - CORE: Compact Object-centric REpresentations as a New Paradigm for Token Merging in LVLMs [29.08277140543501]
視覚的トークン圧縮のための新しいパラダイムであるCORE(Compact Object-centric Representation)を紹介する。
COREは効率的なセグメンテーションデコーダを利用してオブジェクトマスクを生成する。
実験により、COREは固定レート圧縮のための6つの信頼性ベンチマークに対して新しい最先端のベンチマークを確立するだけでなく、適応レート設定において劇的な効率向上を達成することが示された。
論文 参考訳（メタデータ） (2025-11-18T03:02:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。