論文の概要: SP$^2$ec: Adaptive Self-Speculative Decoding for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.18735v3
• Date: Mon, 19 Oct 2026 12:48:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 14:12:51.649091
• Title: SP$^2$ec: Adaptive Self-Speculative Decoding for Vision-Language Models
• Title（参考訳）: SP$2$ec:視覚言語モデルに対する適応型自己投機的復号法
• Abstract要約: 自己投機的復号化は、ターゲットモデルの部分をドラフトとして再利用する。 しかし、その効率性は各プロンプトに適したドラフト設定を選択することに依存する。 本研究では, 単一ピークSPeculative Decoding (SP$2$ec) を提案する。
• 参考スコア（独自算出の注目度）: 52.05605371053102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speculative Decoding (SD) has demonstrated its efficacy in accelerating large language model inference, but for Vision-Language Models (VLMs), the diverse input modalities make it difficult for a small trained drafter to achieve consistently high throughput. Self-speculative decoding reuses parts of the target model as a drafter which retains the multi-modal capability of the VLMs, yet its efficiency depends on choosing a suitable draft configuration for each prompt. We propose Single-Peak SPeculative decoding (SP$^2$ec), a training-free bandit algorithm that adapts the draft configuration during generation. SP$^2$ec exploits the single-peak throughput pattern observed in existing self-speculative methods, including SWIFT, KnapSpec, SpecVLM, and our simple cosSim. Our algorithmic design explicitly minimizes a novel notion of wall-time regret for each given query, corresponding to the empirical wall-time latency. Theoretical guarantees on the wall-time regret show that SP$^2$ec can exploit the optimal draft configuration, with negligible exploration cost. Extensive experiments on Qwen2.5-VL-7B-Instruct and LLaVA-NeXT-Mistral-7B across visual and textual tasks show consistent improvements of up to 11% over the original self-speculative methods, demonstrating the wide applicability of the proposed SP$^2$ec algorithm.
• Abstract（参考訳）: 投機的復号法(SD)は,大規模言語モデル推論の高速化に有効であることを示したが,視覚言語モデル(VLM)では多種多様な入力モダリティにより,訓練された小さなドラフト作成者が一貫した高いスループットを達成するのが困難である。 自己投機的復号化は、VLMのマルチモーダル能力を保ちながら、各プロンプトに適したドラフト設定を選択することによる。 本研究では,単一ピークSPeculative decoding (SP$^2$ec) を提案する。 SP$2$ecは、SWIFT、KnapSpec、SpecVLM、我々の単純なコスシムなど、既存の自己投機的手法で観測される単一ピークスループットパターンを利用する。 我々のアルゴリズム設計は,各クエリに対して,経験的なウォールタイム遅延に対応する,ウォールタイム後悔という新たな概念を明示的に最小化する。 ウォールタイムの後悔に関する理論的保証は、SP$^2$ecが最適のドラフト構成を無視可能な探査コストで活用できることを示している。 Qwen2.5-VL-7B-InstructとLLaVA-NeXT-Mistral-7Bの視覚的およびテキスト的タスクに対する広範な実験は、元の自己投機的手法よりも最大11%改善し、提案したSP$2$ecアルゴリズムの広範な適用性を実証している。

関連論文リスト

• Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs [16.64366862436724]
  MLLM(Multimodal Large Language Models)は先日,視覚言語タスク間での強力なパフォーマンスを実証した。 大量の入力された視覚トークンと大規模言語モデル(LLM)の重い計算の両方から生じる高い推論コストは、実用的デプロイメントにおける重要な障壁である。 本稿では,視覚トークン数とモデル計算能力を協調的に制御する統合適応型推論フレームワークSmartVLを提案する。
  論文  参考訳（メタデータ） (2026-07-22T16:43:27Z)
• Learning-Augmented Scalable Linear Assignment Problem Optimization via Neural Dual Warm-Starts [19.540758462427878]
  最適性と最悪の保証を維持しつつ、正確な代入解決を高速化する学習強化フレームワークを提案する。 グラフベースのモデルのメモリボトルネックを$mathcalO(N2)$で回避する軽量な行独立アーキテクチャであるRowDualNetを紹介します。
  論文  参考訳（メタデータ） (2026-05-10T07:15:49Z)
• $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
  $nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。 $nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
  論文  参考訳（メタデータ） (2026-03-05T08:42:54Z)
• TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs [12.056664630923896]
  投機的復号化は推論効率を大幅に向上させる。 ドラフトとターゲットモデルは、同じ語彙を共有しなければならない。 普遍的な投機的復号化のためのアルゴリズムTokenTimingを提案する。
  論文  参考訳（メタデータ） (2025-10-17T11:25:36Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• EfficientLLaVA:Generalizable Auto-Pruning for Large Vision-language Models [64.18350535770357]
  マルチモーダル推論の効率を高めるために,大規模視覚言語モデルの自動プルーニング手法を提案する。 提案手法では,所望のプルーニングポリシーを探索するために,少数のサンプルのみを活用する。 視覚的質問応答のためのScienceQA, Vizwiz, MM-vet, LLaVA-Benchデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2025-03-19T16:07:04Z)
• Graph-Structured Speculative Decoding [52.94367724136063]
  投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。 本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。 我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
  論文  参考訳（メタデータ） (2024-07-23T06:21:24Z)
• Speculative Decoding: Exploiting Speculative Execution for Accelerating Seq2seq Generation [80.2267931231335]
  本稿では,自己回帰(AR)デコーディングを高速化する投機的実行のアイデアを活用するための投機的デコーディング(SpecDec)を提案する。 SpecDecには2つのイノベーションがある。Spec-Drafter - 効率的なドラフトのために特別に最適化された独立モデル、Spec-Verification - ドラフトされたトークンを効率的に検証するための信頼性の高い方法である。
  論文  参考訳（メタデータ） (2022-03-30T17:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。