論文の概要: Seeing What Matters, Verifying What Pays: Load-Adaptive Speculative Decoding for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2611.01617v1
- Date: Sun, 01 Nov 2026 06:09:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 22:29:06.608401
- Title: Seeing What Matters, Verifying What Pays: Load-Adaptive Speculative Decoding for Vision-Language Models
- Title（参考訳）: 何が重要かを確認する:視覚言語モデルにおける負荷適応型投機的デコーディング
- Abstract要約: Uni-LaSpecは、視覚言語モデルのための投機的デコーディングフレームワークである。
検証者の注意を再利用して、ドラフト品質を改善する。
最大5.11倍のテキストと3.24倍のマルチモーダルスループットを実現する。
- 参考スコア（独自算出の注目度）: 14.758175355854979
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speculative decoding accelerates vision-language model (VLM) inference without altering the output distribution, yet two factors limit its gains. Existing drafters either lack the image evidence required for visually grounded tokens or pay to condition on every visual token, although a short draft block typically depends on only a few image regions. Moreover, the value of verifying additional candidates varies with GPU load, so no fixed verification structure is efficient across serving conditions. We present Uni-LaSpec, a block-parallel speculative decoding framework that addresses both factors. To improve draft quality, Uni-LaSpec reuses the verifier's own attention: the query retained from the preceding verification ranks the cached, int8-quantized visual keys, and a cross-layer vote selects a few visual tokens that the drafter fuses through gated cross-attention. Acceptance-aware training further weights each draft position by its contribution to the accepted prefix. To allocate verification, a marginal-cost criterion selects the structure per request and per round: draft trees exploit idle verifier capacity under light load, whereas a dynamic head truncates linear drafts under heavy load. Across six VLMs from three model families and 17 text and multimodal benchmarks, selecting eight visual tokens retains at least 98.6% of the acceptance obtained from the full image at sub-millisecond selection cost. With greedy decoding at concurrency one, Uni-LaSpec achieves up to 5.11x text and 3.24x multimodal throughput over autoregressive decoding. Across six load levels and three GPU types, it outperforms autoregressive decoding in every setting and matches or exceeds the best fixed verification strategy in 123 of 144 settings; under bursty arrivals, it reduces mean end-to-end latency by 47.6% relative to linear verification.
- Abstract（参考訳）: 投機的復号化は、出力分布を変化させることなく視覚言語モデル(VLM)推論を加速するが、2つの要因はその利得を制限する。
既存のドラフト作成者は、視覚的に接地されたトークンに必要な画像証拠を欠いているか、すべての視覚的トークンに条件を支払うかのいずれかである。
さらに、追加候補の検証値はGPU負荷によって異なるため、サービス条件を越えた固定された検証構造は効率的ではない。
ブロック並列投機的復号化フレームワークUni-LaSpecについて述べる。
前の検証から保持されたクエリはキャッシュされた int8-quantized ビジュアルキーをランク付けし、クロス層投票では、プロダラがゲートクロスアテンションを通じて融合するいくつかのビジュアルトークンを選択する。
アクセプタンス・アウェアトレーニングは、受け入れられたプレフィックスへの貢献によって、各ドラフト位置をさらに重み付けする。
ドラフトツリーは軽量な負荷下でアイドル検証能力を利用するのに対し、動的ヘッドは重負荷下で線形なドラフトを切断する。
3つのモデルファミリと17のテキストとマルチモーダルのベンチマークから得られた6つのVLMのうち、8つのビジュアルトークンを選択すると、ミリ秒以下の選択コストでフルイメージから得られる受理の少なくとも98.6%が保持される。
並行処理でのgreedyデコーディングでは、Uni-LaSpecは5.11倍のテキストと3.24倍のマルチモーダルスループットを実現する。
6つの負荷レベルと3つのGPUタイプで、すべての設定で自動回帰デコーディングを上回り、144設定中123で最高の固定検証戦略を上回り、バーストの到着時に平均エンドツーエンドレイテンシを線形検証と比較して47.6%削減する。
関連論文リスト
- SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding [56.465476123939816]
デプロイ毎にアルゴリズムとシステム最適化を検出する,自律エージェントループであるSpecPilotを提案する。
対象モデルを4つ,ドラフト3つ,プラットフォーム2つ,ベンチマーク5つに分けて評価した。
論文 参考訳（メタデータ） (2026-11-02T04:21:47Z) - Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。
Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
論文 参考訳（メタデータ） (2026-10-08T14:42:57Z) - SEED: Self-Speculative Decoding via Implicit Encoder-Decoder [22.692076054730933]
自己投機的復号化は、ターゲットモデル自体からトークンを起草することで、大言語モデル(LLM)推論を加速させる。
初期出力メソッドは中間層で終了することで、ドラフトを安価に生成するが、後続のレイヤが提供するより深い表現を放棄して、ドラフトの品質を損なう。
我々は,検証中にすでに計算された深部文脈表現を再利用して,高品質なドラフトを安価に取得する自己投機的エンコーダデコーダ(SEED)を提案する。
論文 参考訳（メタデータ） (2026-09-29T03:06:13Z) - Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - FOVEA: Focused On-Demand Visual Evidence Adaptation for Cache-Friendly Multimodal Speculative Decoding [42.559533294854134]
マルチモーダル投機的復号化は、軽量なドラフトモデルにより、より大きなターゲットモデルによる並列検証のための候補トークンを提案することにより、視覚言語モデルを加速させる。
既存の方法は通常、事前に定義された視覚的な予算や静的な圧縮表現のような、固定されたビジュアルインターフェースにドラフトを条件付けする。
本稿では、再利用可能なビジュアルメモリを構築し、ドラフト状態の有界サブセットを動的に検索するキャッシュフレンドリーなアプローチであるFOVEAを提案する。
論文 参考訳（メタデータ） (2026-08-24T07:09:02Z) - FlexDraft: Flexible Speculative Decoding via Attention Tuning and Bonus-Guided Calibration [21.05266483397106]
FlexDraftは投機的デコードフレームワークで、3つの重要な設計を通じて様々なバッチサイズに対応します。
Attention Tuningは、マスクトークン上の最後の数層の注意プロジェクタのみをチューニングすることで、ブロック拡散のドラフトを可能にする。
Bonus-guidedは、解決されたボーナストークンに軽量な条件を付け、ドラフトロジットを校正する。
論文 参考訳（メタデータ） (2026-05-19T15:48:16Z) - Making Every Verified Token Count: Adaptive Verification for MoE Speculative Decoding [15.040000425985324]
ツリーベースの投機的復号化は、複数のドラフト候補を並列に検証することで自己回帰生成を加速するが、この利点はスパース・ミックス・オブ・エクササイズ(MoE)モデルでは弱まる。
我々は,MoE投機的復号化のためのトレーニング不要,ハイパーパラメータフリー,ロスレス適応検証手法EVICTを提案する。
EVICTは、目標検証の前にドラフトツリーを切断し、コスト効率の良いプレフィックスのみを保持することで、検証済みのトークンを全てカウントする。
論文 参考訳（メタデータ） (2026-05-01T01:52:01Z) - SpecTr-GBV: Multi-Draft Block Verification Accelerating Speculative Decoding [5.247507695462136]
マルチドラフトとグレディブロックの検証を単一のフレームワークに統合する新しいSD手法であるSpecTr-GBVを提案する。
理論的には、SpecTr-GBVが、ドラフト生成のフレームワーク内で物理的に達成可能な最適な受容長を達成することを証明している。
本手法は,出力品質を保ちながら,優れた高速化とブロック効率の向上を実現する。
論文 参考訳（メタデータ） (2026-04-01T11:52:46Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Think Before You Accept: Semantic Reflective Verification for Faster Speculative Decoding [48.52389201779425]
投機的復号化は、軽量モデルを使用して複数のドラフトトークンを生成し、それらを並列に検証することで推論を加速する。
既存の検証手法は、意味的正確性を見越しながら、分布の整合性に大きく依存している。
我々は,学習自由でセマンティックなアプローチであるリフレクティブ検証を提案し,正確性と効率のトレードオフを改善する。
論文 参考訳（メタデータ） (2025-05-24T10:26:27Z) - Multi-Candidate Speculative Decoding [82.05519287513444]
大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。
これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。
本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。
対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-01-12T17:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。