論文の概要: MiCo: Mutual Information Coverage Optimization through Semantic Erasure Modeling for Efficient MLLM Inference

• arxiv url: http://arxiv.org/abs/2609.34330v2
• Date: Wed, 30 Sep 2026 10:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:25.993328
• Title: MiCo: Mutual Information Coverage Optimization through Semantic Erasure Modeling for Efficient MLLM Inference
• Title（参考訳）: MiCo:効率的なMLLM推論のためのセマンティック消去モデルによる相互情報被覆最適化
• Abstract要約: マルチモーダル大言語モデル(MLLM)は,多モーダル理解において顕著な性能を示した。 大量の視覚トークンを処理すれば 計算コストが高くなります トレーニング不要な2段階プルーニング手法であるMiCoを提案する。
• 参考スコア（独自算出の注目度）: 44.20181017484279
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have demonstrated impressive performance in multimodal understanding, but processing large numbers of visual tokens results in high computational costs. While many methods have been proposed to reduce the number of visual tokens, most of them rely on heuristics and are prone to discarding substantial visual information during pruning, leading to degradation in model performance. In this work, by using a semantic erasure model, we derive a general mutual information coverage objective from task log-loss and propose MiCo, a training-free two-stage pruning method. MiCo first uses visual signals to select a representative candidate pool before visual tokens enter the language model, then performs task-aware subset selection within it. At each stage, suitable observable proxies instantiate the derived objective as a monotone submodular coverage function, which MiCo greedily optimizes under the token budget. MiCo is evaluated on diverse MLLMs ranging from 7B to 13B parameters across a broad range of image and video benchmarks spanning general visual reasoning, fine-grained OCR and grounding, hallucination detection, and long-video understanding. MiCo consistently achieves the best performance across nearly all evaluated models under all pruning ratios. On LLaVA-NEXT-13B, MiCo uses only 5.6% visual tokens, retains 97.5% of baseline performance, and achieves a 3.8-fold inference speedup. Our experiments demonstrate the effectiveness of MiCo and our mutual information coverage objective for visual token pruning.
• Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) は多モーダル理解において顕著な性能を示したが、多数の視覚トークンを処理すると計算コストが高くなる。 視覚トークンの数を減らそうとする多くの手法が提案されているが、そのほとんどはヒューリスティックに頼っており、プルーニング中にかなりの視覚情報を破棄する傾向があるため、モデルの性能が低下する。 本研究では、意味消去モデルを用いて、タスクログロスから汎用的な相互情報カバレッジ目標を導出し、トレーニング不要な2段階プルーニング手法であるMiCoを提案する。 MiCoはまず視覚信号を使用して、視覚トークンが言語モデルに入る前に代表候補プールを選択する。 各段階において、適切な可観測プロキシは、導出した目的をモノトン部分モジュラーカバレッジ関数としてインスタンス化し、MiCoはトークン予算の下で優しく最適化する。 MiCoは、一般的な視覚的推論、きめ細かいOCRとグラウンド、幻覚検出、長いビデオ理解にまたがる幅広い画像およびビデオベンチマークの7Bパラメータから13Bパラメータまで、さまざまなMLLMで評価されている。 MiCoは、すべてのプルーニング比の下で、ほぼすべての評価されたモデルに対して、一貫して最高のパフォーマンスを達成する。 LLaVA-NEXT-13Bでは、MiCoは5.6%のビジュアルトークンしか使用せず、97.5%のベースライン性能を維持し、3.8倍の推論スピードアップを実現している。 視覚的トークンプルーニングにおけるMiCoの有効性と相互情報カバレッジの目的について実験を行った。

関連論文リスト

• Prompting Is All You Need: Multi-view Prompting Large Language Models for Aspect-Based Sentiment Analysis [5.3558051475405515]
  マルチビュー・プロンプト(LLM-MvP)を導入し,複数要素の順序付けをLLMプロンプトに適用する多視点原理を適用した。 LLM-MvPは、計算オーバーヘッドを大幅に削減しつつ、微調整されたアプローチよりも性能が優れている。
  論文  参考訳（メタデータ） (2026-05-27T07:04:39Z)
• IDPruner: Harmonizing Importance and Diversity in Visual Token Pruning for MLLMs [11.254129271889035]
  視覚トークンのプルーニングはMLLM推論を加速させる重要な手法として登場した。 IDPrunerは最先端のパフォーマンスを実現し、様々なアーキテクチャやタスクにまたがる優れた一般化を実現している。
  論文  参考訳（メタデータ） (2026-02-10T11:20:24Z)
• SparseMM: Head Sparsity Emerges from Visual Concept Responses in MLLMs [74.2538340966038]
  マルチモーダル言語モデル(MLLM)が視覚入力をどのように処理するかを,その注意機構を解析して検討する。 LLMにおける注目のごく一部だけが視覚的理解に有効である。 我々は,KVキャッシュ最適化手法であるSparseMMを導入し,その視覚的スコアに基づいて非対称な計算予算をLLMの先頭に割り当てる。
  論文  参考訳（メタデータ） (2025-06-05T17:59:55Z)
• Elevating Visual Perception in Multimodal LLMs with Visual Embedding Distillation [109.5893580175657]
  近年,MLLMの開発における標準的な実践は,視覚エンコーダの機能をLLMに供給し,自然言語による指導を施すことである。 このアプローチは、しばしばモデルが言語理解に傾き、データに存在するリッチな視覚知覚信号を損なう。 本稿では,視覚知識をエキスパートビジョンエンコーダからLLMの隠れ表現に注入する最初のアプローチであるVisPer-LMを提案する。
  論文  参考訳（メタデータ） (2024-12-12T18:55:18Z)
• Sparsity Meets Similarity: Leveraging Long-Tail Distribution for Dynamic Optimized Token Representation in Multimodal Large Language Models [6.467840081978855]
  マルチモーダル大言語モデル(MM-LLM)は様々なタスクで大きな成功を収めた。 主な計算負担は、処理されたテキストと視覚トークンから生じる。 視覚的CLSトークン類似度曲線の屈折点を同定する動的プルーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-02T10:49:10Z)
• Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs [49.88461345825586]
  本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。 本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。 本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-01T05:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。