論文の概要: Representation Dynamics Reveal Semantic Saliency and Similarity for Visual Token Pruning in MLLMs

• arxiv url: http://arxiv.org/abs/2609.36916v1
• Date: Tue, 29 Sep 2026 07:37:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.28675
• Title: Representation Dynamics Reveal Semantic Saliency and Similarity for Visual Token Pruning in MLLMs
• Title（参考訳）: MLLMにおける視覚的トーケンプルーニングにおける表現ダイナミクスの探索と類似性
• Abstract要約: エンコーダ奥行きの視覚的トークン表現ダイナミクスを解析する。 そこで我々は,MSDG-Pruneを提案する。MSDG-Pruneは,高度で多様な視覚情報を保存するために,更新度と方向を利用する訓練不要の手法である。
• 参考スコア（独自算出の注目度）: 22.65343477930625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) incur high inference latency from long visual token sequences. Existing pruning methods commonly use attention maps or output features to estimate token importance or redundancy. Several recent approaches also exploit representation changes, but when and how these changes reflect foreground saliency and semantic consistency remain insufficiently understood. We analyze visual token representation dynamics across encoder depth and uncover two findings. First, the relationship between token update magnitudes and foreground saliency is layer-dependent: large token updates concentrate on foreground regions in two depth intervals, separated by several sink-dominated layers at intermediate depths. Second, similarities between token update directions better distinguish same-class from different-class tokens than those between encoder output features. Building on these findings, we propose MSDG-Prune, a training-free method that uses update magnitudes and directions to preserve salient and diverse visual information. Specifically, we group tokens by update-direction similarity and use query-weighted saliency derived from update magnitudes across a chosen depth window for group-wise token pruning. Extensive experiments across four MLLMs demonstrate the effectiveness and generalizability of MSDG-Prune. On LLaVA-NeXT, it retains 91.9% of uncompressed performance on average with only 5.6% of visual tokens, while achieving a 7.8x prefilling speedup. Code is available at https://github.com/liweixuan-hitsz/MSDG-Prune.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、長い視覚トークンシーケンスから高い推論遅延を引き起こす。 既存のプルーニング手法では、トークンの重要性や冗長性を推定するために注意マップや出力特徴を用いるのが一般的である。 最近のいくつかのアプローチでは、表現の変化も活用しているが、これらの変更は、いつ、どのようにして前景の正当性と意味的な一貫性を反映しているかは、まだ十分に理解されていない。 エンコーダ奥行きの視覚的トークン表現のダイナミクスを解析し、2つの発見点を明らかにする。 第1に,トークン更新量とフォアグラウンド・サリエンシの関係は,2つの深さ間隔で前景領域に集中し,中間深度で複数のシンクが支配する層によって分離される。 第二に、トークン更新方向間の類似性は、エンコーダ出力機能間の類似性よりも、異なるクラストークンと同一クラスを区別する方がよい。 これらの知見に基づいて,MSDG-Pruneを提案する。 具体的には、更新方向の類似性によってトークンをグループ化し、グループワイドトークンのプルーニングのために選択した深さウィンドウを横断する更新マグニチュードから得られたクエリ重み付きサリエンシを使用する。 4つのMLLMにわたる大規模な実験は、MSDG-Pruneの有効性と一般化性を実証した。 LLaVA-NeXTでは、圧縮されていないパフォーマンスの91.9%を保ち、視覚トークンの5.6%しか持たない。 コードはhttps://github.com/liweixuan-hitsz/MSDG-Prune.comで公開されている。

関連論文リスト

• SinkPruner: Sink-Free Visual Token Pruning for Multimodal Large Language Models [25.951841702056544]
  MLLM(Multimodal large language model)は、長い視覚トークンシーケンスを処理する際に、かなりの計算オーバーヘッドを発生させる。 SinkPrunerは、効率的なMLLM推論のためのトレーニング不要なビジュアルトークンプルーニングフレームワークである。 SinkPrunerは、ハイノーム冗長性をフィルタし、注意シンクと注意分散を緩和するビジュアルサニタイザと、テキストクエリにセマンティックに整合したトークンを保持するテキスト誘導プルーナーの2つの主要なモジュールで、粗い粒度の設計に従う。
  論文  参考訳（メタデータ） (2026-09-01T09:52:10Z)
• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• All You Need Are Random Visual Tokens? Demystifying Token Pruning in VLLMs [43.80391827200227]
  ディープレイヤでは、既存のトレーニングフリープルーニング手法はランダムプルーニングに勝る。 ビジュアルトークンは、ネットワーク深度の増加に伴い、徐々にサリエンスを失う。 深層層での単純なランダムプルーニングは性能と効率のバランスを効果的に表す。
  論文  参考訳（メタデータ） (2025-12-08T14:16:01Z)
• Patch-as-Decodable-Token: Towards Unified Multi-Modal Vision Tasks in MLLMs [88.68484904214142]
  Patch-as-Decodable Token (PaDT)を導入し、テキストと多様な視覚出力を生成する。 PaDTの中心は、クエリイメージのビジュアルパッチ埋め込みから派生したVisual Reference Tokens (VRT)である。 MLLMモデルと比較しても,PaDTは最先端の性能を一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-10-02T12:23:57Z)
• TrimTokenator: Towards Adaptive Visual Token Pruning for Large Multimodal Models [4.779482139419908]
  テキストトークンと意味的に視覚トークンを除去する相互情報に基づくトークンプルーニング戦略を導入する。 LLaVA-15-7BやLLaVA-7Bといったモデルでは,テキストトークンを88.9%削減しながら高い性能を維持している。
  論文  参考訳（メタデータ） (2025-08-30T02:43:50Z)
• Multi-Cue Adaptive Visual Token Pruning for Large Vision-Language Models [85.51753014478315]
  本稿では,新しいプラグ・アンド・プレイ・トレーニングフリープルーニング手法であるAdaptPruneを紹介する。 空間距離とトークン類似性を適応的NMSアプローチと組み合わせることで、従来の注意に基づくプルーニングに基づいている。 当社のアプローチはトークンの重要性を総合的に評価することを保証するとともに,プルーニング決定を大幅に改善する。
  論文  参考訳（メタデータ） (2025-03-11T03:58:17Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Sparsity Meets Similarity: Leveraging Long-Tail Distribution for Dynamic Optimized Token Representation in Multimodal Large Language Models [6.467840081978855]
  マルチモーダル大言語モデル(MM-LLM)は様々なタスクで大きな成功を収めた。 主な計算負担は、処理されたテキストと視覚トークンから生じる。 視覚的CLSトークン類似度曲線の屈折点を同定する動的プルーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-02T10:49:10Z)
• AiluRus: A Scalable ViT Framework for Dense Prediction [95.1313839257891]
  視覚変換器 (ViT) は、その優れた性能のため、視覚タスクの一般的なアーキテクチャとして登場した。 本稿では,画像の異なる領域に対して,その重要度に応じて適応分解能を適用することを提案する。 提案手法を3つの異なるデータセット上で評価し,有望な性能を観察する。
  論文  参考訳（メタデータ） (2023-11-02T12:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。