論文の概要: MMSpec: Benchmarking Speculative Decoding for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2603.14989v1
• Date: Mon, 16 Mar 2026 08:55:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:57.887089
• Title: MMSpec: Benchmarking Speculative Decoding for Vision-Language Models
• Title（参考訳）: MMSpec:ビジョンランゲージモデルのためのベンチマークの投機的デコーディング
• Abstract要約: 我々は、視覚言語モデルにおける投機的復号化を評価するための最初のベンチマークであるMMSpecを紹介する。 MMSpecは6つのタスクカテゴリにわたる600のマルチモーダルサンプルを含み、10の代表的な投機的復号アルゴリズムを統合している。 そこで我々はViSkipを提案する。ViSkipは投機を視覚トークンに動的に適応し、最先端の性能を実現するための投機的復号法である。
• 参考スコア（独自算出の注目度）: 43.4716250339058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) achieve strong performance on multimodal tasks but suffer from high inference latency due to large model sizes and long multimodal contexts. Speculative decoding has recently emerged as an effective acceleration technique, yet its behavior in VLMs remains insufficiently understood. We introduce MMSpec, the first benchmark for evaluating speculative decoding in vision-language models. MMSpec contains 600 multimodal samples across six task categories and integrates ten representative speculative decoding algorithms under a unified evaluation framework. Our study reveals three key findings: (1) methods designed for text-only LLMs degrade in multimodal scenarios, (2) vision awareness becomes increasingly important at larger batch sizes, and (3) throughput speedup alone does not reliably reflect latency performance. Motivated by these findings, we propose ViSkip, a plug-and-play speculative decoding method that dynamically adapts speculation to vision tokens and achieves state-of-the-art performance.
• Abstract（参考訳）: 視覚言語モデル(VLM)はマルチモーダルタスクにおいて高い性能を達成するが、大きなモデルサイズと長いマルチモーダルコンテキストのために高い推論遅延に悩まされる。 投機的復号化は近年,有効な加速手法として登場したが,VLMの動作はいまだに十分に理解されていない。 我々は、視覚言語モデルにおける投機的復号化を評価するための最初のベンチマークであるMMSpecを紹介する。 MMSpecには6つのタスクカテゴリにわたる600のマルチモーダルサンプルが含まれており、統一された評価フレームワークの下で10の代表的な投機的復号アルゴリズムを統合している。 本研究は,1)マルチモーダルシナリオにおいてテキストのみのLCMを劣化させる手法,(2)より大きなバッチサイズでは視覚認識がますます重要になり,(3)スループットの高速化だけでは遅延性能を確実に反映しない,という3つの重要な知見を提示する。 これらの知見に触発されたViSkipは,投機を視覚トークンに動的に適応させ,最先端のパフォーマンスを実現するための,プラグアンドプレイの投機的復号法である。

関連論文リスト

• VersaViT: Enhancing MLLM Vision Backbones via Task-Guided Optimization [87.26383908243878]
  マルチモーダル大言語モデルにおける視覚エンコーダは,その高密度な特徴表現に欠けていることを示す。 本稿では,協調学習のための新しいマルチタスクフレームワークであるVersaViTを提案する。
  論文  参考訳（メタデータ） (2026-02-10T16:08:19Z)
• ViSpec: Accelerating Vision-Language Models with Vision-Aware Speculative Decoding [13.295759874474767]
  視覚言語モデル(VLM)に適した新しいフレームワークViSpec(ViSpec)を紹介する。 ViSpecは画像トークンをコンパクトな表現に圧縮するために軽量な視覚適応モジュールを使用している。 我々のトレーニング戦略は、ターゲットモデルの隠れた状態への直接アクセスを利用するドラフトモデルのリスクを軽減する。
  論文  参考訳（メタデータ） (2025-09-17T11:28:58Z)
• ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models [67.75439511654078]
  LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。 彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。 OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
  論文  参考訳（メタデータ） (2025-07-01T16:01:08Z)
• Mimicking or Reasoning: Rethinking Multi-Modal In-Context Learning in Vision-Language Models [19.361686225381447]
  視覚言語モデル(VLM)は、文脈内学習(ICL)を示すと広く想定されている 提案するMM-ICLにはReasoningパイプラインが組み込まれている。
  論文  参考訳（メタデータ） (2025-06-09T16:55:32Z)
• FLASH: Latent-Aware Semi-Autoregressive Speculative Decoding for Multimodal Tasks [41.04727840852988]
  大規模言語とマルチモーダルモデル(LLMとLMM)は強い推論能力を示すが、しばしば遅い復号速度によって制限される。 視覚的な入力は通常、テキストよりも低い情報密度のトークンで構成されている。 LMM用に設計された投機的復号化フレームワークである textbfFLASH (Fast Latent-Aware Semi-Autoregressive Heuristics) を提案する。
  論文  参考訳（メタデータ） (2025-05-19T05:35:30Z)
• MASSV: Multimodal Adaptation and Self-Data Distillation for Speculative Decoding of Vision-Language Models [0.09895793818721334]
  視覚言語モデル(MASSV)の投機的復号化のためのマルチモーダル適応と自己データ蒸留を導入する。 MASSVは、既存の小さな言語モデルを2段階のアプローチで効果的なマルチモーダルドラフトに変換する。 Qwen2.5-VL と Gemma3 モデルファミリでの実験では、MASSV が許容される長さを最大30%増加し、視覚的に接地されたタスクで最大 1.46 倍のエンドツーエンドの推論速度を提供することを示した。
  論文  参考訳（メタデータ） (2025-05-15T17:37:00Z)
• Elevating Visual Perception in Multimodal LLMs with Visual Embedding Distillation [109.5893580175657]
  近年,MLLMの開発における標準的な実践は,視覚エンコーダの機能をLLMに供給し,自然言語による指導を施すことである。 このアプローチは、しばしばモデルが言語理解に傾き、データに存在するリッチな視覚知覚信号を損なう。 本稿では,視覚知識をエキスパートビジョンエンコーダからLLMの隠れ表現に注入する最初のアプローチであるVisPer-LMを提案する。
  論文  参考訳（メタデータ） (2024-12-12T18:55:18Z)
• Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training [48.455597568212944]
  マルチモーダル・ミックス・オブ・エキスパート構造を用いて視覚専門家の集合をシームレスに統合するモノリシックMLLMであるMono-InternVLを提案する。 特に、EViPは、ノイズの多いデータから高品質なデータへの視覚的知識を完全に活用することを目的とした、視覚専門家のための進歩的な学習プロセスとして設計されている。
  論文  参考訳（メタデータ） (2024-10-10T17:59:22Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。