論文の概要: MI-Pruner: Crossmodal Mutual Information-guided Token Pruner for Efficient MLLMs

• arxiv url: http://arxiv.org/abs/2604.03072v1
• Date: Fri, 03 Apr 2026 14:51:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.500602
• Title: MI-Pruner: Crossmodal Mutual Information-guided Token Pruner for Efficient MLLMs
• Title（参考訳）: MI-Pruner:効率的なMLLMのための相互情報誘導型Token Pruner
• Authors: Jiameng Li, Aleksei Tiulpin, Matthew B. Blaschko,
• Abstract要約: 視覚情報は、大きな言語モデルにおけるテキストと比較して比較的疎い。 現在のアプローチでは、視覚エンコーダやLLMデコーダのアテンションスコアに基づいてトークンの重要度を測定し、その上で、アテンションスコアの高い視覚トークンを選択し、他のトークンをプルーニングする。 本稿では,メカニズム固有の信号に頼る代わりに,視覚的特徴とテキスト的特徴の相互情報(MI)を直接計算する。
• 参考スコア（独自算出の注目度）: 14.331586807575176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For multimodal large language models (MLLMs), visual information is relatively sparse compared with text. As a result, research on visual pruning emerges for efficient inference. Current approaches typically measure token importance based on the attention scores in the visual encoder or in the LLM decoder, then select visual tokens with high attention scores while pruning others. In this paper, we pursue a different and more surgical approach. Instead of relying on mechanism-specific signals, we directly compute Mutual Information (MI) between visual and textual features themselves, prior to their interaction. This allows us to explicitly measure crossmodal dependency at the feature levels. Our MI-Pruner is simple, efficient and non-intrusive, requiring no access to internal attention maps or architectural modifications. Experimental results demonstrate that our approach outperforms previous attention-based pruning methods with minimal latency.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)では、視覚情報はテキストに比べて比較的疎らである。 その結果、効率的な推論のために視覚的プルーニングの研究が出現する。 現在のアプローチでは、通常、視覚エンコーダやLLMデコーダのアテンションスコアに基づいてトークンの重要度を測定し、アテンションスコアの高い視覚トークンを選択し、他のトークンをプルーニングする。 本稿では,異なる外科的アプローチを追求する。 メカニズム固有の信号に頼るのではなく、視覚的特徴とテキスト的特徴との間の相互情報(MI)を直接計算する。 これにより、機能レベルでクロスモーダルな依存関係を明示的に測定することができます。 私たちのMI-Prunerはシンプルで効率的で非侵襲的で、内部の注意マップやアーキテクチャの変更にアクセスする必要がありません。 実験により,本手法は最小レイテンシで従来の注目型プルーニング法よりも優れた性能を示した。

関連論文リスト

• VFlowOpt: A Token Pruning Framework for LMMs with Visual Information Flow-Guided Optimization [70.98122339799218]
  LMM(Large Multimodal Models)は、多数の視覚トークンを微粒な視覚情報に活用することにより、視覚言語タスクに優れる。 推論中の視覚トークンを減らすことを目的とした以前の研究は、一般的に、視覚のみのトークンや視覚言語トークンの注意スコアから得られた重要マップを利用して、1つまたは複数のプルーニング段階にわたってトークンをプルーンする。 重要地図導出プロセスとリサイクル機構を備えたプログレッシブプルーニングモジュールを導入したトークンプルーニングフレームワークであるVFlowOptを提案する。 実験により、VFlowOptは、同等のパフォーマンスを維持しながら、90%のビジュアルトークンをプルークでき、KVキャッシュメモリが89%削減され、3.8になった。
  論文  参考訳（メタデータ） (2025-08-07T09:47:21Z)
• Lifting the Veil on Visual Information Flow in MLLMs: Unlocking Pathways to Faster Inference [28.24397677839652]
  マルチモーダル大規模言語モデル(MLLM)は、事前訓練された視覚エンコーダの視覚的特徴を大規模言語モデルに統合することにより、視覚言語タスクの性能を向上させる。 MLLMがどのように処理し、どのように視覚情報を利用するかは、まだ不明である。 階層型モダリティ・アウェア・プルーニング(HiMAP, Hierarchical Modality-Aware Pruning)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T12:31:23Z)
• QuoTA: Query-oriented Token Assignment via CoT Query Decouple for Long Video Comprehension [86.0749609778104]
  既存の大規模ビデオ言語モデルを拡張した,アンテホックなトレーニングフリーモジュールQuoTAを提案する。 QuoTAは、クエリ関連性に基づいて、フレームレベルの重要度スコアを戦略的に割り当てる。 クエリをChain-of-Thoughts推論で切り離し、より正確なLVLMベースのフレーム重要度スコアリングを容易にする。
  論文  参考訳（メタデータ） (2025-03-11T17:59:57Z)
• Attention Reallocation: Towards Zero-cost and Controllable Hallucination Mitigation of MLLMs [62.9348974370985]
  約ゼロの余剰コストで幻覚を緩和するための注意再配置(AttnReal)を提案する。 我々のアプローチは,MLLMの注意分布が,歴史的出力トークンによって特徴が支配されるという重要な観測によって動機付けられている。 この観測に基づいて、AttnRealは出力トークンからの過剰な注意をリサイクルし、それを視覚トークンに再配置することで、MLLMの言語優先への依存を軽減します。
  論文  参考訳（メタデータ） (2025-03-11T11:52:37Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• RedundancyLens: Revealing and Exploiting Visual Token Processing Redundancy for Efficient Decoder-Only MLLMs [38.34856927170692]
  MLLM(Multimodal Large Language Model)の学習用フレームワークを提案する。 Probe-Activated Dynamic FFNとHollow Attentionで構成されており、ビジュアルトークンの計算の調整可能な削減を可能にする。 実験では、デコーダのみのMLLMに特有の、実質的で、構造化され、クラスタ化された冗長性を示す。
  論文  参考訳（メタデータ） (2025-01-31T11:09:16Z)
• Sparsity Meets Similarity: Leveraging Long-Tail Distribution for Dynamic Optimized Token Representation in Multimodal Large Language Models [6.467840081978855]
  マルチモーダル大言語モデル(MM-LLM)は様々なタスクで大きな成功を収めた。 主な計算負担は、処理されたテキストと視覚トークンから生じる。 視覚的CLSトークン類似度曲線の屈折点を同定する動的プルーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-02T10:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。