論文の概要: Spec-LLaVA: Accelerating Vision-Language Models with Dynamic Tree-Based Speculative Decoding

• arxiv url: http://arxiv.org/abs/2509.11961v1
• Date: Mon, 15 Sep 2025 14:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:23.329849
• Title: Spec-LLaVA: Accelerating Vision-Language Models with Dynamic Tree-Based Speculative Decoding
• Title（参考訳）: Spec-LLaVA:動的木に基づく投機的デコードによる視覚言語モデルの高速化
• Authors: Mingxiao Huo, Jiayi Zhang, Hewei Wang, Jinfeng Xu, Zheyu Chen, Huilin Tai, Yijun Chen,
• Abstract要約: Spec-LLaVAは、出力品質を犠牲にすることなく、Vision-Language Modelsを高速化するために投機的デコーディングを適用するシステムである。 MSの外部画像では、Spec-LLaVAはLLaVA-1.5 (7B, 13B)で最大3.28$times$高速デコードを達成する。
• 参考スコア（独自算出の注目度）: 14.571291239004225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) enable powerful multimodal reasoning but suffer from slow autoregressive inference, limiting their deployment in real-time applications. We introduce Spec-LLaVA, a system that applies speculative decoding to accelerate VLMs without sacrificing output quality. Spec-LLaVA pairs a lightweight draft VLM with a large target model: the draft speculates future tokens, which the target verifies in parallel, allowing multiple tokens to be generated per step. To maximize efficiency, we design a dynamic tree-based verification algorithm that adaptively expands and prunes speculative branches using draft model confidence. On MS COCO out-of-domain images, Spec-LLaVA achieves up to 3.28$\times$ faster decoding on LLaVA-1.5 (7B, 13B) with no loss in generation quality. This work presents a lossless acceleration framework for VLMs using dynamic tree-structured speculative decoding, opening a path toward practical real-time multimodal assistants. Importantly, the lightweight draft model design makes the framework amenable to resource-constrained or on-device deployment settings.
• Abstract（参考訳）: VLM(Vision-Language Models)は、強力なマルチモーダル推論を可能にするが、自動回帰推論の遅さに悩まされ、リアルタイムアプリケーションへのデプロイメントが制限される。 出力品質を犠牲にすることなく、投機的復号法を用いてVLMを高速化するシステムであるSpec-LLaVAを紹介する。 Spec-LLaVAは軽量のドラフトVLMと大きなターゲットモデルを組み合わせる。ドラフトは将来のトークンを推測し、ターゲットが並列に検証し、ステップ毎に複数のトークンを生成することができる。 効率を最大化するために、ドラフトモデル信頼度を用いて投機枝を適応的に拡張・発案する動的木に基づく検証アルゴリズムを設計する。 MS COCOのアウト・オブ・ドメイン画像では、LLaVA-1.5 (7B, 13B)で最大3.28$\times$高速デコードが達成され、生成品質は低下しない。 本研究は,動的木構造投機復号法を用いて,実時間マルチモーダルアシスタントへの道を開くVLMの無損失加速フレームワークを提案する。 重要なことは、軽量なドラフトモデル設計により、フレームワークはリソース制約やデバイス上のデプロイメント設定に適しています。

関連論文リスト

• SpecVLM: Fast Speculative Decoding in Vision-Language Models [14.243294546325714]
  投機的復号化は自己回帰型大規模言語モデル(LLM)を高速化する強力な方法である 視覚言語モデル(VLM)の投機的復号化について検討する。 1.5--2.3xのエンドツーエンドの高速化を完全自己回帰推論で実現する実用システムであるSpecVLMを紹介する。
  論文  参考訳（メタデータ） (2025-09-15T11:53:56Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• DREAM: Drafting with Refined Target Features and Entropy-Adaptive Cross-Attention Fusion for Multimodal Speculative Decoding [11.946177537665402]
  投機的復号化(SD)は,大規模言語モデル(LLM)における自己回帰生成を高速化する強力な手法として登場した。 視覚言語モデル(VLM)に適した新しい投機的復号化フレームワークであるDREAMを紹介する。
  論文  参考訳（メタデータ） (2025-05-25T15:56:50Z)
• FLASH: Latent-Aware Semi-Autoregressive Speculative Decoding for Multimodal Tasks [41.04727840852988]
  大規模言語とマルチモーダルモデル(LLMとLMM)は強い推論能力を示すが、しばしば遅い復号速度によって制限される。 視覚的な入力は通常、テキストよりも低い情報密度のトークンで構成されている。 LMM用に設計された投機的復号化フレームワークである textbfFLASH (Fast Latent-Aware Semi-Autoregressive Heuristics) を提案する。
  論文  参考訳（メタデータ） (2025-05-19T05:35:30Z)
• MASSV: Multimodal Adaptation and Self-Data Distillation for Speculative Decoding of Vision-Language Models [0.09895793818721334]
  視覚言語モデル(MASSV)の投機的復号化のためのマルチモーダル適応と自己データ蒸留を導入する。 MASSVは、既存の小さな言語モデルを2段階のアプローチで効果的なマルチモーダルドラフトに変換する。 Qwen2.5-VL と Gemma3 モデルファミリでの実験では、MASSV が許容される長さを最大30%増加し、視覚的に接地されたタスクで最大 1.46 倍のエンドツーエンドの推論速度を提供することを示した。
  論文  参考訳（メタデータ） (2025-05-15T17:37:00Z)
• DyMU: Dynamic Merging and Virtual Unmerging for Efficient VLMs [124.52164183968145]
  視覚言語モデル(VLM)の計算負担を軽減する,効率的なトレーニング不要なフレームワークであるDyMUを提案する。 まず、動的トークンマージ(DToMe)は、画像の複雑さに基づいて類似のトークンをマージすることで、視覚トークンの埋め込み数を削減します。 第二に、仮想トークンアンマージ(VTU)は、大きな言語モデル(LLM)の期待トークンシーケンスを、フルシーケンスの注意ダイナミクスを効率的に再構築することでシミュレートする。
  論文  参考訳（メタデータ） (2025-04-23T18:38:18Z)
• DuoDecoding: Hardware-aware Heterogeneous Speculative Decoding with Dynamic Multi-Sequence Drafting [59.57151419673759]
  投機的復号化は、出力分布の忠実さを維持しながら生成遅延を低減するドラフト・then-verifyフレームワークを提供する。 我々は、CPUとGPUにそれぞれドラフトモデルとターゲットモデルを戦略的にデプロイする新しいアプローチであるDuoDecodingを提案する。 本手法は,アイドル時間を最小限に抑えるため,ハードウェア対応の最適ドラフト予算を組み込んで,動的マルチシーケンスドラフトを用いて,ドラフト品質を向上させる。
  論文  参考訳（メタデータ） (2025-03-02T08:27:48Z)
• EVEv2: Improved Baselines for Encoder-Free Vision-Language Models [72.07868838411474]
  既存のエンコーダフリービジョン言語モデル(VLM)は、エンコーダベースモデルと性能ギャップを狭めている。 我々は,主流のエンコーダをベースとしたVLMと競合するエンコーダフリーVLMの効率的な戦略を開発する。 統一モデルにおいて、視覚と言語を適切に階層的に関連付けることで、モダリティ間の干渉を減少させることを示す。
  論文  参考訳（メタデータ） (2025-02-10T18:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。