論文の概要: Vision Is Not Overhead: One-Pass Block Drafting for Lossless Speculative Decoding in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2609.00355v1
- Date: Mon, 31 Aug 2026 20:50:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.076653
- Title: Vision Is Not Overhead: One-Pass Block Drafting for Lossless Speculative Decoding in Vision-Language Models
- Title（参考訳）: ビジョンは先行きしない:視覚言語モデルにおける無意味な投機的デコードのためのワンパスブロックドラフト
- Abstract要約: 視覚言語モデル(VLM)の投機的復号化は自己複製サイクルで達成されている。
修正されていないVLMターゲット上でロスレスな最初のワンパスブロックドラフトであるGLANCEを提示する。
- 参考スコア（独自算出の注目度）: 34.49048773784769
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speculative decoding accelerates generation without changing its output, yet on vision-language models (VLMs) it has been caught in a self-defeating cycle. The drafter stays autoregressive, so it must stay small. A small drafter cannot afford the image at every step, so vision is compressed, pruned, or hidden. A drafter cut off from the image is then least reliable exactly where the image makes text predictable. We present GLANCE, the first one-pass block drafter that is lossless on an unmodified VLM target, and it breaks the cycle at both ends. A block-diffusion head reads the target's already-fused vision-language state, so vision costs the drafter nothing, and fills a whole block in one forward pass, so depth costs no sequential steps. A wide candidate tree is verified in one target pass, and every audited prompt reproduces greedy decoding exactly. Grounded workloads reward this most, entering a verbatim-copy regime whose long runs cost an autoregressive drafter a pass for every token and a block drafter one in total. Under one engine and one round budget, GLANCE decodes up to 2.93x faster than autoregression, from one draft pass a round where the production EAGLE3-VL head takes eight, and accepts 2.7x longer blocks than an EAGLE-3 head trained on the same corpus. One law organizes these results. Accepted length is set by the target's next-token entropy, with a fitted slope that steepens with grounding across all five tasks. The law transfers across targets and modalities and names its own boundary, since free-running text still favors a chain. Our code is available at https://github.com/js-lee-AI/GLANCE.
- Abstract（参考訳）: 投機的復号化は出力を変更することなく生成を加速するが、視覚言語モデル(VLM)では自己複製サイクルで捕捉されている。
起草者は自己回帰的であるため、小さく保たなければならない。
小さな草案作成者は、すべてのステップでイメージを入手できないため、視覚は圧縮され、刈り取られ、隠される。
画像から切り離されたドラフト作成者は、画像がテキストを予測できる場所において、最も信頼性が低い。
GLANCEは、修正されていないVLMターゲットでロスレスな最初のワンパスブロックドラフト機であり、両端でサイクルを破る。
ブロック拡散ヘッドは、ターゲットの既に融合した視覚言語状態を読み取るため、視界はドラフト作成者に何の費用もかからず、1回の前方通過でブロック全体を埋めるので、深さはシーケンシャルなステップを伴わない。
広範囲の候補木を1つの目標パスで検証し、監査されたプロンプト毎にグリーディ復号を正確に再現する。
ラングレードされたワークロードは、このことに最も報いるもので、長いランニングでオートレグレッシブなドラフトラとブロックのドラフトラが合計でパスする冗長なコピーレシエーションに入る。
1基のエンジンと1基のラウンド予算の下では、GLANCEはオートレグレスより最大2.93倍の速度でデコードされ、1発のドラフトはEAGLE3-VLヘッドが8発のラウンドを通過し、同じコーパスで訓練されたEAGLE-3ヘッドよりも2.7倍長いブロックを受信する。
1つの法律がこれらの結果を整理する。
受信された長さは、ターゲットの次のトーケンエントロピーによって設定され、全ての5つのタスクに接地することで傾斜が傾斜する。
この法律は、ターゲットとモダリティをまたいで転送し、自由に走るテキストがチェーンを好むため、独自の境界を名付ける。
私たちのコードはhttps://github.com/js-lee-AI/GLANCE.orgで公開されています。
関連論文リスト
- Ceiling-Clipped Acceptance Histograms Indicate Stranded Speed-up in Block-Diffusion Speculative Decoding [0.008640713300591884]
投機的復号化は効率的なドラフトモデルによる生成を高速化する(後述)
DFlashやDFlareのような高速なブロック拡散ドラフトラは、ブロック全体を1つの並列パスで埋める。
我々は、新しく公開された位置を強調する短いカリキュラムで、より長いブロックでドラフト作成者の訓練を後押しする。
論文 参考訳（メタデータ） (2026-08-31T08:23:14Z) - Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。
本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
論文 参考訳（メタデータ） (2026-05-28T04:30:22Z) - Attention Drift: What Autoregressive Speculative Decoding Models Learn [8.218844611545775]
投機的復号化は、将来のトークンを小さなモデルで起草することで推論を加速させるが、テンプレートの摂動と長文入力の下では、ドラフトアモデルが急激に劣化する。
我々は、以前に報告されていない現象をtextbfattention drift と呼び、投機チェーン内で連続したトークンを生成すると、注意がプロンプトから最近生成されたトークンへと徐々に移動していく。
提案するアーキテクチャ上の変更点として, 隠れ状態に対するノームと, 隠蔽状態の捕捉後の隠れ状態当たりのRMSNormの2つを挙げる。
論文 参考訳（メタデータ） (2026-05-11T05:08:39Z) - SpecBlock: Block-Iterative Speculative Decoding with Dynamic Tree Drafting [25.273024580844346]
SpecBlockはブロックイテレーティブなドラフトアで、パス依存と安価なドラフトを組み合わせています。
デプロイ時のコストを意識した盗聴は、無償の検証者フィードバックを使用して、ドラフトを選択的に更新する。
論文 参考訳（メタデータ） (2026-05-08T04:59:48Z) - Accelerating Speculative Decoding with Block Diffusion Draft Trees [20.28933257827737]
投機的復号化は、軽量なドラフトラを使って複数の未来のトークンを提案することで、自己回帰言語モデルを加速する。
DFlashは、ブロック拡散ドラフトラが1つのフォワードパスでドラフトブロック全体を生成することができることを示している。
Vanilla DFlashは、ラウンド毎に1つのドラフトされた軌道のみを検証する。
DDTreeは,ブロック拡散型ドラフトラの配置分布から直接ドラフトツリーを構築する手法である。
論文 参考訳（メタデータ） (2026-04-14T17:23:14Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳（メタデータ） (2025-09-19T04:51:41Z) - Scaling Speculative Decoding with Lookahead Reasoning [11.349400331288257]
トークンレベルの投機的復号法(SD)は有効だが、その利点は秘められている。
並列性の第2段層を利用したLookahead Reasoningを開発した。
Lookahead Reasoningは、回答の品質を維持しながら、SDの1.4倍から2.1倍のスピードアップを改善する。
論文 参考訳（メタデータ） (2025-06-24T17:48:10Z) - UniTok: A Unified Tokenizer for Visual Generation and Understanding [63.23796622553615]
視覚生成および理解モデルは通常、画像を処理するために異なるトークン化器に依存する。
我々は、新しいマルチコードブック量子化機構を備えた統一トークン化システムUniTokを紹介する。
最終的なパフォーマンスに関しては、UniTokはImageNetで0.38 rFIDと78.6%のゼロショット精度で新記録を樹立した。
論文 参考訳（メタデータ） (2025-02-27T17:47:01Z) - Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。
Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
論文 参考訳（メタデータ） (2024-05-28T17:40:48Z) - Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding [65.94521678103237]
投機的復号化(英: Speculative decoding)は、大規模言語モデルの生成プロセスを加速する広く使われている手法である。
我々は,草案作成プロセスの並列化のために,草案文を生成するOuroborosを紹介した。
ウロボロは投機的復号化で最大2.8倍、バニラ復号化で3.9倍のスピードアップを達成できる。
論文 参考訳（メタデータ） (2024-02-21T11:31:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。