論文の概要: From Token Importance to Conditional Removability: Rethinking Visual Token Pruning in Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2609.26484v1
- Date: Tue, 22 Sep 2026 14:22:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 01:05:39.693479
- Title: From Token Importance to Conditional Removability: Rethinking Visual Token Pruning in Multimodal Large Language Models
- Title（参考訳）: トーケンの重要性から条件付き除去可能性へ:マルチモーダル大言語モデルにおける視覚的トーケンプルーニングを再考する
- Abstract要約: トレーニングフリーのビジュアルトーケンプルーニングは、トークンの重要度、冗長性、あるいは関連する選択基準を安全な除去のためのプロキシとして利用することが多い。
これらの信号だけでは、表現深さと周辺削除セットの両方で条件づけられた除去性を完全に特徴づけることができない。
この観点から、トレーニングフリーの2段階フレームワークであるCoRePruneを提案する。
- 参考スコア（独自算出の注目度）: 9.4982123179796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training-free visual-token pruning often uses token importance, redundancy, or related selection criteria as proxies for safe removal. We show that these signals alone do not fully characterize removability, which is conditioned on both representation depth and the surrounding deletion set. Controlled interventions demonstrate that removing the same tokens at different depths produces substantially different downstream perturbations, while changing only the deletion context at a fixed depth alters candidate marginals and pruning-boundary decisions. These findings show that token importance alone cannot determine when a token is safely removable or how its removability changes under joint deletion. Motivated by this perspective, we propose CoRePrune, a training-free two-stage framework. Progressive Perturbation-Aware Visual Pruning refreshes deletion effects as visual representations evolve, while Set-Conditioned Refinement reevaluates candidate rescue benefits under the current deletion set after visual--text interaction. Across five multimodal large language model backbones covering standard images, high-resolution inputs, and video, CoRePrune preserves performance under aggressive token budgets. On Qwen3.5, with a final budget of 128 visual tokens, it retains 90.3% of dense-model performance while reducing aggregate prefill time by 51.0%.
- Abstract（参考訳）: トレーニングフリーのビジュアルトーケンプルーニングは、トークンの重要度、冗長性、あるいは関連する選択基準を安全な除去のためのプロキシとして利用することが多い。
これらの信号だけでは、表現深さと周辺削除セットの両方で条件づけられた除去性を完全に特徴づけることができない。
制御された介入は、異なる深さで同じトークンを除去すると、下流の摂動が著しく異なることを示し、一方、一定の深さで削除コンテキストだけを変更すると、候補の限界とプルーニング境界の決定が変化することを示している。
これらの結果から,トークンの重要性だけでは,トークンが安全に取り外し可能であったり,関節脱落時にその取り外し可能性がどのように変化するかは決定できないことが示唆された。
この観点から、トレーニングフリーの2段階フレームワークであるCoRePruneを提案する。
プログレッシブ・パータベーション・アウェア・ビジュアル・プルーニングは、視覚表現が進化するにつれて削除効果をリフレッシュし、セッティング・コンディションド・リファインメント(Set-Conditioned Refinement)は、視覚-テキストインタラクション後の現在の削除セットの下で、候補救助のメリットを再評価する。
CoRePruneは、標準画像、高解像度入力、ビデオを含む5つのマルチモーダルな大きな言語モデルバックボーンで、アグレッシブトークンの予算の下でパフォーマンスを保っている。
Qwen3.5では、最終的な予算は128のビジュアルトークンで、90.3%の高密度モデル性能を維持し、集計前処理時間を51.0%削減した。
関連論文リスト
- Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。
マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。
その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
論文 参考訳（メタデータ） (2026-08-01T12:32:31Z) - Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models [86.02826269126308]
本稿では,局所スナップショット決定から時間軌道モデリング問題へのプルーニングを高める新しいフレームワークであるTrend-Aware Pruningを提案する。
これにより、"ラトブルーミング"トークンを選択的に再活性化する動的修正機構が実現される。
論文 参考訳（メタデータ） (2026-07-30T15:07:00Z) - Calibrate Before Reason: Robust Visual Token Reduction against Semantic Drift in VLMs [26.936352183867854]
CaReは,1)多方向摂動下で安定なモデル側の影響を持つアンカーを識別する摂動ロバストアンカリング,2)未選択トークンから信頼性の高い校正信号を抽出しアンカーに注入する信頼性ゲートトケンの2つの相互補完モジュールから構成される。
視覚トークンの94.4%をプルーニングする一方で、本手法は元のフルトーケン性能の96.4%を保持し、未使用バニラモデルと比較して最大2.30倍高速なエンドツーエンド推論速度を実現する。
論文 参考訳（メタデータ） (2026-07-30T05:36:29Z) - Visual Token Compression Enhances Robustness of MLLMs [54.28558472087342]
視覚的トークンプルーニングがマルチモーダル大言語モデル(MLLM)のロバスト性を高めることを初めて示す。
我々は,ロバスト・プルーニング層におけるOOD視覚トークンを削減し,ジェイルブレイクや幻覚に対するモデルロバスト性を高めることを目指している。
本手法は,ジェイルブレイク攻撃の防御において平均13.29%の改善を達成し,幻覚の緩和において一貫して競争力を発揮し,MMEなどの一般データセット上での強い結果を維持する。
論文 参考訳（メタデータ） (2026-07-21T15:52:30Z) - Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs [7.371189496638082]
本稿では,カラムサブセット選択問題としてトークンプルーニングを再構成する部分空間再構成手法であるSPAREを紹介する。
SPAREはタスクに強い利得を伴い、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2026-06-17T04:45:10Z) - Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。
COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
論文 参考訳（メタデータ） (2026-05-10T09:07:04Z) - Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。
このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
論文 参考訳（メタデータ） (2026-02-06T12:24:26Z) - ZSPAPrune: Zero-Shot Prompt-Aware Token Pruning for Vision-Language Models [7.7352936204066]
本稿では,タスク関連性と情報多様性のバランスとして,視覚トークンプルーニングをモデル化する新しいゼロショット手法を提案する。
本手法は,精度の低下を最小限に抑えて,最先端技術に適合または超越した性能を実現する。
これらのゲインには、GPUメモリフットプリントの大幅な削減と推論レイテンシが伴っている。
論文 参考訳（メタデータ） (2025-10-20T06:18:47Z) - TrimTokenator: Towards Adaptive Visual Token Pruning for Large Multimodal Models [4.779482139419908]
テキストトークンと意味的に視覚トークンを除去する相互情報に基づくトークンプルーニング戦略を導入する。
LLaVA-15-7BやLLaVA-7Bといったモデルでは,テキストトークンを88.9%削減しながら高い性能を維持している。
論文 参考訳（メタデータ） (2025-08-30T02:43:50Z) - Rethinking Discrete Tokens: Treating Them as Conditions for Continuous Autoregressive Image Synthesis [79.98107530577576]
DisConは、離散トークンを生成ターゲットではなく条件信号として再解釈する新しいフレームワークである。
DisConは、ImageNet 256$times $256 世代で gFID スコアが 1.38 に達し、最先端の自己回帰アプローチよりも明確なマージンで優れている。
論文 参考訳（メタデータ） (2025-07-02T14:33:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。