論文の概要: Is Multimodal Speculative Decoding Ready for Diffusion-Based Parallel Drafting? A Survey and Empirical Diagnosis

• arxiv url: http://arxiv.org/abs/2608.20743v1
• Date: Fri, 21 Aug 2026 05:03:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.389673
• Title: Is Multimodal Speculative Decoding Ready for Diffusion-Based Parallel Drafting? A Survey and Empirical Diagnosis
• Title（参考訳）: 拡散型並列描画のためのマルチモーダル投機的デコード準備は可能か? : 調査と実証診断
• Abstract要約: 投機的復号化は、軽量なドラフト作成者が将来のトークンを提案し、ターゲットモデルがそれらを並列に検証することで、自己回帰生成を加速させる。 直近のパラダイムはブロック並列生成のドラフトであり、DFlashやDSparkのような拡散ベースのメソッドは日々のチャットタスクで最大3.6倍のスピードアップを達成する。 既存のマルチモーダルな投機的復号化努力は、入力圧縮、アダプタアライメント、候補カバレッジ、モダリティ固有の検証に重点を置いている。
• 参考スコア（独自算出の注目度）: 23.7986593705582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative decoding accelerates autoregressive generation by allowing a lightweight drafter to propose future tokens while a target model verifies them in parallel. Its lossless guarantee has motivated a line of work that pushes the drafter itself toward parallel generation. The most recent paradigm is block-parallel generative drafting, including diffusion-based methods such as DFlash and DSpark, achieving up to 3.6x speedup on common daily chatting tasks. While this transition is well studied in text-only LLMs, its applicability to multimodal models remains an open question. Existing multimodal speculative decoding efforts focus on input compression, adapter alignment, candidate coverage, or modality-specific verification; however, block-parallel generative drafting remains largely unexplored. To bridge this gap, this paper combines a modality-centered survey with a cross-architecture empirical study to ask: Is multimodal speculative decoding ready for diffusion-based parallel drafting? In this survey, we systematically analyze a wide spectrum of multimodal models, spanning Vision-Language, Video-Language, Audio, and Vision-Language-Action (VLA) architectures, from the dual perspectives of drafting parallelism and cross-modal information interaction. We introduce a unified taxonomy that isolates drafter-side parallelism from orthogonal design choices such as tree construction and verification strategies. Furthermore, we provide a comprehensive empirical comparison of existing methods under varying degrees of parallelism across standardized multimodal benchmarks, including OCR, VQA, visual reasoning, and image captioning. Finally, we summarize the limitations of current approaches, discuss open challenges, and outline promising future directions for this rapidly evolving field.
• Abstract（参考訳）: 投機的復号化は、軽量なドラフト作成者が将来のトークンを提案し、ターゲットモデルがそれらを並列に検証することで、自己回帰生成を加速させる。 その損失のない保証は、ドラフト作成者自身を並列生成に向けて進める一連の作業のモチベーションとなった。 直近のパラダイムはブロック並列生成のドラフトであり、DFlashやDSparkのような拡散ベースのメソッドは日々のチャットタスクで最大3.6倍のスピードアップを達成する。 この遷移はテキストのみの LLM でよく研究されているが、マルチモーダルモデルに適用可能であることは未解決の問題である。 既存のマルチモーダルな投機的復号化努力は、入力圧縮、アダプタアライメント、候補カバレッジ、あるいはモダリティ固有の検証に重点を置いている。 このギャップを埋めるために、本論文では、モダリティ中心のサーベイとクロスアーキテクチャの実証的研究を組み合わせる。 本研究では,視覚・言語,ビデオ・言語,オーディオ,視覚・言語・アクション(VLA)アーキテクチャにまたがるマルチモーダルモデルについて,並列性や相互モーダル情報相互作用という2つの視点から系統的に解析する。 本稿では,木構造や検証戦略などの直交的な設計選択から,草案側並列性を分離する統一分類法を提案する。 さらに,OCR,VQA,視覚的推論,画像キャプションなど,標準化されたマルチモーダルベンチマークにおいて,並列性の度合いが異なる既存手法の総合的な比較実験を行った。 最後に、現在のアプローチの限界を概説し、オープンな課題について議論し、この急速に発展する分野の今後の方向性を概説する。

関連論文リスト

• Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
  単眼画像からの空間的推論は 自律運転には不可欠です 現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。 本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T02:05:12Z)
• Training-Free Acceleration for Document Parsing Vision-Language Model with Hierarchical Speculative Decoding [102.88996030431662]
  本稿では,文書解析タスクの学習自由かつ高効率な高速化手法を提案する。 投機的復号化にインスパイアされた私たちは、将来のトークンのバッチを予測するために、ドラフトモデルとして軽量な文書解析パイプラインを使用します。 汎用OmniDocBenchに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2026-02-13T14:22:10Z)
• ColaVLA: Leveraging Cognitive Latent Reasoning for Hierarchical Parallel Trajectory Planning in Autonomous Driving [44.008287454538596]
  視覚言語モデル(VLM)は、クロスモーダルな先行とコモンセンス推論を導入することで、このパラダイムを豊かにする。 現在のVLMベースのプランナは、(i) 個別のテキスト推論と継続的制御のミスマッチ、(ii) 自己回帰的連鎖のデコーディングからの高い遅延、(iii) リアルタイムデプロイメントを制限する非効率または非因果的なプランナである。 テキストから潜在空間へ推論を転送し,それを階層的並列軌道デコーダで結合する統合視覚言語アクションフレームワークColaVLAを提案する。
  論文  参考訳（メタデータ） (2025-12-28T14:06:37Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• A Survey on Diffusion Language Models [30.00199970146068]
  拡散言語モデル(DLM)は、支配的な自己回帰(AR)パラダイムの代替である。 DLMは、推論遅延を減らし、双方向のコンテキストをキャプチャすることに固有の利点がある。 近年の進歩により、DLMは自己回帰に匹敵する性能を示すようになった。
  論文  参考訳（メタデータ） (2025-08-14T17:47:22Z)
• A Survey on Parallel Text Generation: From Parallel Decoding to Diffusion Language Models [71.66119575697458]
  トークン・バイ・トークン生成のボトルネックを破り、推論効率を向上させることを目的とした並列テキスト生成技術。 既存のアプローチをARベースのパラダイムと非ARベースのパラダイムに分類し、各カテゴリの中核技術について詳細に検討する。 我々は、最近の進歩を強調し、オープンな課題を特定し、並列テキスト生成における将来的な研究の方向性を概説する。
  論文  参考訳（メタデータ） (2025-08-12T07:56:04Z)
• Speculative Decoding via Hybrid Drafting and Rollback-Aware Branch Parallelism [20.3565068078231]
  仮説復号における分岐並列性を解き放つための新しいフレームワーク textbfSpecBranch を提案する。 SpecBranchがtextbf1.8$times sim$ textbf4.5$times$ speedups against the auto-regressive decoding and reduces rollback tokens by $textbf50$% for aligned model。
  論文  参考訳（メタデータ） (2025-05-16T07:45:05Z)
• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)
• $\ extit{latent}$-GLAT: Glancing at Latent Variables for Parallel Text Generation [65.29170569821093]
  並列テキスト生成は、ジェネレーション効率の成功により、広く注目を集めています。 本稿では,単語分類情報を取得するために,離散潜在変数を用いた$textitlatent$-GLATを提案する。 実験結果から,本手法は自己回帰モデルを用いることなく,強いベースラインを達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T07:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。