論文の概要: Rescuing Your Pruning: Rethinking Visual Token Pruning and Post-Training Recovery in MLLMs

• arxiv url: http://arxiv.org/abs/2610.33688v1
• Date: Sat, 24 Oct 2026 14:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.421282
• Title: Rescuing Your Pruning: Rethinking Visual Token Pruning and Post-Training Recovery in MLLMs
• Title（参考訳）: 緑化を救う - MLLMにおける視覚的トーケンプルーニングとトレーニング後のリカバリの再考
• Abstract要約: ビジュアルトークンプルーニングは、マルチモーダルな大言語モデルの推論コストを大幅に削減する。 既存の方法はトレーニング不要で、プラグ&プレイがほとんどである。 訓練後の救助は、OCRや接地でもほとんど失われる。 最良構成は、エンコーダとプロジェクタを積極的にプルークし、LLMをそのまま残し、一般的な理解と推論を高密度レベルで維持する。
• 参考スコア（独自算出の注目度）: 16.893413667967764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual token pruning substantially reduces the inference cost of multimodal large language models (MLLMs), yet existing methods are mostly training-free and plug-and-play. They treat the resulting performance drop as an inevitable cost of compression and pursue increasingly complex pruning rules. We rethink this view through two questions: how much of the loss can post-training rescue, and, building on this recovery, how can joint compression push pruning to its limit? We curate a 282K-sample post-training mixture covering general VQA, reasoning, OCR, and grounding, and post-train 36 configurations that drop or merge tokens under a unified protocol. Post-training rescues most of the loss, even for OCR and grounding, and its adaptation gain in closing the gap between the pruned and the dense model grows as the budget tightens. For joint compression, we find that the vision encoder, not the LLM, dominates prefill time in native-resolution MLLMs, so where tokens are removed matters more than how many: keeping 40% of tokens at the encoder runs faster than keeping 10% at the projector. Our best configuration prunes the encoder lightly and the projector aggressively, leaves the LLM intact, and keeps general understanding and reasoning at the dense level. It accelerates the LLM stage by 3.49x but the end-to-end time-to-first-token by only 1.54x, showing that LLM-stage speedups overstate end-to-end gains. We hope these findings offer insights for future research on joint visual token compression. Our data, protocol, and code will be released.
• Abstract（参考訳）: ビジュアルトークンのプルーニングはマルチモーダル大言語モデル(MLLM)の推論コストを大幅に削減するが、既存の手法はトレーニング不要でプラグ&プレイがほとんどである。 結果として生じるパフォーマンス低下を圧縮の避けられないコストとして扱い、ますます複雑なプルーニングルールを追求します。 我々はこの見解を、2つの質問を通じて再考する: 損失のどれ程が訓練後の救助に役立てられるのか、そしてこの回復に基づいて、どのようにして関節圧縮が限界まで押し寄せられるのか? 我々は、一般的なVQA、推論、OCR、グラウンドをカバーした282Kサンプルのポストトレーニングミックスと、統一されたプロトコルの下でトークンをドロップまたはマージするポストトレイン36の構成をキュレートする。 訓練後の救助は、OCRや接地においても損失の大部分を救い、予算が狭まるにつれて、刈り込みと密集モデルのギャップを埋める適応性が向上する。 共同圧縮では、LLMではなくビジョンエンコーダがネイティブ解像度のMLLMのプリフィル時間を支配しており、トークンを取り除いた場合、トークンの40%をプロジェクタに保持するよりも高速に実行される。 最良構成は、エンコーダとプロジェクタを積極的にプルークし、LLMをそのまま残し、一般的な理解と推論を高密度レベルで維持する。 LLMステージを3.49倍に加速するが、終端から終端までのタイム・ツー・ファースト・トークンをわずか1.54倍に減らし、LLMステージのスピードアップが終端から終端までのゲインを加速することを示した。 これらの知見が今後の共同視覚トークン圧縮研究の知見となることを願っている。 私たちのデータ、プロトコル、コードはリリースされます。

関連論文リスト

• Who Speaks for the Pruned? Visual Token Pruning as Coverage Optimization [16.62921026631372]
  視覚トークンプルーニングは視覚言語モデル(VLM)の推論コストを削減する トークンが削除された後、生き残ったオリジナルのトークンがターゲットのVLMに対してそれを表現しているかという、補完的な需要側質問を問うトレーニングフリープルーナーであるCoverPrunerを提案する。 CoverPrunerはRepresentational Coverage Maximization (RCM) としてプルーニングを定式化し、クエリ重み付き要求を伴う完全なビジュアルトークンを網羅する。
  論文  参考訳（メタデータ） (2026-09-02T20:51:02Z)
• One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding [51.08792182064565]
  長いビデオ理解は、膨大なフレーム数のため、視覚言語モデル(VLM)にとって本質的に困難である。 通常、ビデオフレームは数十から数百のトークンに拡張されるため、大きな言語モデル(LLM)のコンテキスト長は制限され、VLMはフレームをわずかに知覚し、時間的情報を失う。 本稿では,XComp という長大なビデオ理解のための極端な圧縮モデルを提案する。
  論文  参考訳（メタデータ） (2026-04-15T17:59:52Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• VoCo-LLaMA: Towards Vision Compression with Large Language Models [31.398537194299752]
  VLM(Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な成功を収めている。 LLMを用いて視覚トークンを圧縮する最初の方法であるVoCo-LLaMAを提案する。 提案手法は, 576$times$の圧縮比で最小性能損失を達成し, 最大94.8$%のFLOPと69.6$%の高速化を実現した。
  論文  参考訳（メタデータ） (2024-06-18T05:05:12Z)
• Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
  Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
  論文  参考訳（メタデータ） (2023-10-02T17:42:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。