論文の概要: MMFlash: Faster Speculative Decoding for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2611.18482v1
- Date: Fri, 13 Nov 2026 17:54:28 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:26:35.907603
- Title: MMFlash: Faster Speculative Decoding for Vision-Language Models
- Title(参考訳): MMFlash:ビジョンランゲージモデルのためのより高速な投機的デコーディング
- Abstract要約: 視覚的入力を伴わない次トーケン分布間のKL偏差に基づくトークンレベルの視覚的依存度尺度を提案する。
受入率の低下は, 視覚依存度が最低の46%から最高の22%に減少し, マルチモーダルトレーニング後にこの差が持続することがわかった。
この観察に動機づけられたMMFlashは、視覚的に依存するトークンを適応的にアップウェイトし、ドラフト作成者が予測しにくくする、シンプルで効果的なフレームワークである。
- 参考スコア(独自算出の注目度): 63.54475946669436
- License:
- Abstract: Speculative decoding accelerates generation by letting a lightweight drafter propose tokens for parallel verification by a target model. Diffusion drafters such as DFlash propose an entire token block in a single forward pass, but mainly focus on text-only tasks, leaving multimodal drafting underexplored. To study this setting, we first introduce a metric of token-level visual dependence based on the KL divergence between next-token distributions with and without visual input. We find that acceptance rates decrease from 46% in the lowest visual-dependence quartile to 22% in the highest, with this disparity persisting after multimodal training. Motivated by this observation, we propose MMFlash, a simple and effective framework that adaptively upweights visually dependent tokens that the drafter predicts poorly. For long video inputs, MMFlash further employs sparse attention to reduce redundant attention computation and improve drafting quality. Across various multimodal benchmarks, MMFlash achieves lossless decoding speedups of up to $3.58\times$, outperforming EAGLE-3 and DFlash by up to 195.4% and 17.1%, respectively.
- Abstract(参考訳): 投機的復号化は、軽量な起草者が目標モデルによる並列検証のためのトークンを提案することによって生成を加速する。
DFlashのような拡散ドラフトラは、1つのフォワードパスでトークンブロック全体を提案するが、主にテキストのみのタスクに重点を置いており、マルチモーダルドラフトは未検討のままである。
そこで本研究では,視覚的入力を伴わずに次トーケン分布のKL差分に基づくトークンレベルの視覚的依存度尺度を提案する。
受入率の低下は, 視覚依存度が最低の46%から最高の22%に減少し, マルチモーダルトレーニング後にこの差が持続することがわかった。
この観察に動機づけられたMMFlashは、視覚的に依存するトークンを適応的にアップウェイトし、ドラフト作成者が予測しにくくする、シンプルで効果的なフレームワークである。
長いビデオ入力のために、MMFlashはさらに、冗長な注意計算を減らし、ドラフト品質を改善するために、疎注意を用いる。
様々なマルチモーダルベンチマークにおいて、MMFlashは最大3.58\times$の損失のない復号速度を達成し、それぞれEAGLE-3とDFlashを195.4%、DFlashは17.1%上回った。
関連論文リスト
- DStill: Trajectory Consistency Distillation for Accelerated One-Step Drafting in Block Diffusion Speculative Decoding [4.728206157621192]
ブロック拡散投機的復号化は、複数のトークンを並列にドラフトすることで、大きな言語モデル推論を加速する。
離散拡散における一段階のドラフトはトークン分解誤差によって制限される。
DStillは、ターゲット条件付きドラフト作成者自身の多段階改良を1段階のドラフト作成に蒸留するフレームワークである。
論文 参考訳(メタデータ) (2026-10-19T23:05:16Z) - STAR-Pro: Stage-Wise Token Adaptive Reduction with Progressive Refinement for Efficient Large Vision-Language Models [54.273344678561024]
大規模視覚言語モデル(LVLM)は強力なマルチモーダル理解を実現するが、処理する数百から数千の視覚トークンは計算オーバーヘッドを課す。
視覚的トークンプルーニングの2つの相補的解析を行う。
視覚的トークンプルーニングのためのトレーニング不要な2段階フレームワークSTAR-Proを提案する。
論文 参考訳(メタデータ) (2026-09-05T06:18:28Z) - Speculative Correction: Draft-then-Refine Decoding for Diffusion Language Models [50.758327861505784]
まず、まず完全なドラフトを生成し、次に双方向拡散を用いて完全な応答を洗練する。
LLaDA2.1-FlashとLLaDA2.1-Miniの2つの構成を評価する。
Flash-FlashはGSM8K-384の精度を0.848から0.899に改善し、選択したFlashブロック自動回帰ベースラインの1.20倍高速に動作した。
Mini-Flashは2.17倍高速に動作しながら、0.294対0.300のMATH-384性能を含む、有用な品質とレイテンシのトレードオフを提供する。
論文 参考訳(メタデータ) (2026-07-21T17:58:10Z) - Flash-BoN: Instant Drafts for Inference-Time Scaling in Diffusion Models [91.19049123903137]
テキストから画像への推論時間のスケーリングは、単純なBest-of-N$サンプリングからガイド付き検索方法まで進歩している。
これらのアプローチは、いつ、どの程度の頻度でデノベーションを行うかに焦点が当てられているが、生成自体のコストを固定として扱うのがほとんどである。
ウォールクロック評価では、単純なBoNが既にいくつかのガイド付き検索手法に適合または優れていたことを示す。
論文 参考訳(メタデータ) (2026-07-05T19:02:32Z) - Stage-adaptive Token Selection for Efficient Omni-modal LLMs [17.161087166882744]
om-LLMの層単位でのトークン依存性を解析する。
効率的なom-LLM推論のための訓練不要な段階適応トークン選択法を提案する。
論文 参考訳(メタデータ) (2026-05-19T15:55:16Z) - FLASH: Latent-Aware Semi-Autoregressive Speculative Decoding for Multimodal Tasks [41.04727840852988]
大規模言語とマルチモーダルモデル(LLMとLMM)は強い推論能力を示すが、しばしば遅い復号速度によって制限される。
視覚的な入力は通常、テキストよりも低い情報密度のトークンで構成されている。
LMM用に設計された投機的復号化フレームワークである textbfFLASH (Fast Latent-Aware Semi-Autoregressive Heuristics) を提案する。
論文 参考訳(メタデータ) (2025-05-19T05:35:30Z) - Vision-centric Token Compression in Large Language Model [51.92055188780033]
Vision Centric Token Compression (Vist)は、人間の読書を反映した高速圧縮フレームワークである。
11のコンテキスト内学習ベンチマークでは、Vistは同じ精度を2.3倍のトークンで達成し、FLOPを16%削減し、メモリを50%削減した。
論文 参考訳(メタデータ) (2025-02-02T13:10:06Z) - VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。
提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
論文 参考訳(メタデータ) (2024-08-29T17:21:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。