論文の概要: Parallel Vision Token Scheduling for Fast and Accurate Multimodal LMMs Inference

• arxiv url: http://arxiv.org/abs/2511.18875v1
• Date: Mon, 24 Nov 2025 08:29:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.10815
• Title: Parallel Vision Token Scheduling for Fast and Accurate Multimodal LMMs Inference
• Title（参考訳）: 高速かつ高精度なマルチモーダルLMM推定のための並列ビジョントークンスケジューリング
• Authors: Wengyi Zhan, Mingbao Lin, Zhihang Lin, Rongrong Ji,
• Abstract要約: ParVTSは、ビジュアルトークンを被写体および非オブジェクトグループに分割し、それらを並列に処理し、それらのセマンティクスを疑問トークンに転送し、非オブジェクトパスミッド推論を破棄する。 実験の結果、ParVTSは最大88.9%の視覚トークンを出力し、最小性能が低下し、1.77倍のスピードアップと70%のFLOPが削減された。
• 参考スコア（独自算出の注目度）: 68.4758228017823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) deliver impressive vision-language reasoning but suffer steep inference latency because self-attention scales quadratically with sequence length and thousands of visual tokens contributed by high-resolution images. Naively pruning less-informative visual tokens reduces this burden, yet indiscriminate removal can strip away contextual cues essential for background or fine-grained questions, undermining accuracy. In this paper, we present ParVTS (Parallel Vision Token Scheduling), a training-free scheduling framework that partitions visual tokens into subject and non-subject groups, processes them in parallel to transfer their semantics into question tokens, and discards the non-subject path mid-inference to reduce computation. This scheduling reduces computational complexity, requires no heuristics or additional modules, and is compatible with diverse existing MLLM architectures. Experiments across multiple MLLM backbones show that ParVTS prunes up to 88.9% of visual tokens with minimal performance drop, achieving 1.77x speedup and 70% FLOPs reduction.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、視覚言語による印象的な推論を提供するが、高解像度の画像によって、自己注意はシーケンス長と数千の視覚トークンとで2次的にスケールするため、急激な推論遅延を被る。 しかし、非差別的な除去は背景やきめ細かい質問に欠かせない文脈的手がかりを排除し、精度を損なう。 本稿では,ParVTS(Parallel Vision Token Scheduling)を提案する。ParVTS(Parallel Vision Token Scheduling)は,視覚トークンを被写体と非対象グループに分割し,それらのセマンティクスを疑問トークンに転送するために並列に処理し,非対象パスを破棄し,計算量を削減する。 このスケジューリングは計算の複雑さを減らし、ヒューリスティックや追加モジュールを必要とせず、様々な既存のMLLMアーキテクチャと互換性がある。 複数のMLLMバックボーンでの実験では、ParVTSは最大88.9%の視覚トークンを出力し、最小性能が低下し、1.77倍のスピードアップと70%のFLOPが削減された。

関連論文リスト

• A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
  我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。 本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。 層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
  論文  参考訳（メタデータ） (2025-11-19T04:13:36Z)
• ZSPAPrune: Zero-Shot Prompt-Aware Token Pruning for Vision-Language Models [7.7352936204066]
  本稿では,タスク関連性と情報多様性のバランスとして,視覚トークンプルーニングをモデル化する新しいゼロショット手法を提案する。 本手法は,精度の低下を最小限に抑えて,最先端技術に適合または超越した性能を実現する。 これらのゲインには、GPUメモリフットプリントの大幅な削減と推論レイテンシが伴っている。
  論文  参考訳（メタデータ） (2025-10-20T06:18:47Z)
• CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models [75.88232735646018]
  LVLM(Large Vision-Language Models)は、画像やビデオから抽出されたテキストトークンとビジョントークンからなるマルチモーダル入力を処理する。 既存の手法は冗長な視覚トークンを創りだそうとしており、視覚表現のかなりの冗長性を明らかにしている。 我々は,LVLMで処理される前に冗長な視覚トークンを予測・削除するために,Plug-and-Play Pruning Module (PPM) を用いるレイヤワイズなコンテキスト対応型視覚トークンプルーニング手法であるCoViPALを提案する。
  論文  参考訳（メタデータ） (2025-08-24T07:47:00Z)
• Rethinking Visual Token Reduction in LVLMs under Cross-modal Misalignment [38.04426918886084]
  視覚言語モデル(LVLM)は、視覚入力をパッチレベルのトークンの密度の高いシーケンスとしてエンコードし、微細なセマンティクスをキャプチャする。 これまでは、大型言語モデル(LLM)の前か中のいずれかで、視覚トークンの削減を検討してきた。 トレーニングフリーで視覚のみのプルーニングフレームワークであるVisionDropを導入し、モーダル内(視覚から視覚への)注目に基づいて情報的視覚トークンを選択する。
  論文  参考訳（メタデータ） (2025-06-27T14:55:40Z)
• FOLDER: Accelerating Multi-modal Large Language Models with Enhanced Performance [9.782362715017596]
  視覚トークン列の長さを削減するために設計された,シンプルで効果的なプラグアンドプレイモジュールであるFOLDERを紹介する。 我々は、異なる還元戦略によってもたらされた情報損失を分析し、視覚的冗長性を取り除きながら鍵情報を保存するFOLDERを開発した。 FOLDERは、オリジナルのモデルと同等またはそれ以上のパフォーマンスを達成すると同時に、最大70%のビジュアルトークンを削除することで、複雑さを劇的に低減する。
  論文  参考訳（メタデータ） (2025-01-05T03:28:45Z)
• Efficient Multi-modal Large Language Models via Visual Token Grouping [55.482198808206284]
  高解像度の画像やビデオは、彼らの広く普及するための障壁となる。 MLLMにおける視覚トークンの圧縮は、推論コストを削減するための有望なアプローチとして現れている。 本稿では,事前学習した視覚エンコーダの能力を利用して類似画像セグメントをグループ化する,新たなグループ化機構であるVisToGを紹介する。
  論文  参考訳（メタデータ） (2024-11-26T09:36:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。