論文の概要: RECAP: Context-Aware Prediction Recycling with Request-Local and Persistent Memories for Multimodal Speculative Decoding
- arxiv url: http://arxiv.org/abs/2611.05894v1
- Date: Wed, 04 Nov 2026 03:32:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.933009
- Title: RECAP: Context-Aware Prediction Recycling with Request-Local and Persistent Memories for Multimodal Speculative Decoding
- Title(参考訳): RECAP:マルチモーダル投機復号のための要求局所記憶と永続記憶を用いた文脈認識予測のリサイクル
- Abstract要約: 本稿では,ターゲット予測を1,2,3つのキーで格納する手法を提案する。
メソッドは、7つのシングルターンベンチマークで1.66スピード$と1.56スピード$の自己回帰復号よりも平均的なスピードアップを達成する。
- 参考スコア(独自算出の注目度): 25.42322070431578
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recycling a target model's own predictions offers a training-free source of proposals for speculative decoding. In vision-language models, however, existing recycling indexes predictions by the last token alone, conflating predictions computed under different images and prefixes; we find that such reuse fails most often at image-sensitive decoding states. Longer keys reduce this aliasing but match fewer states. We introduce \method, which stores target predictions under one-, two-, and three-token keys: contextual memories live only for the current request and are thus implicitly conditioned on its image, while token-level memory persists across requests to retain coverage. At each lookup, entropy-confidence weighting fuses the retrieved predictions according to their key specificity and concentration. Best-first search composes the fused transitions into a candidate tree, supplemented by suffix-matched continuations, and one target pass verifies the tree under greedy decoding. Without training or an auxiliary draft model, \method\ achieves mean speedups over autoregressive decoding of $1.66\speed$ and $1.56\speed$ across seven single-turn benchmarks on Qwen2.5-VL-7B and LLaVA-1.6-7B, exceeding the strongest training-free baseline, Token Recycling ($1.51\speed$ and $1.37\speed$). Our implementation is available in https://github.com/Senmo996/RECAP-official-code.
- Abstract(参考訳): ターゲットモデル自身の予測をリサイクリングすることで、投機的復号化の提案のトレーニング不要なソースを提供する。
しかし、視覚言語モデルでは、既存のリサイクルインデックスは最後のトークンだけで予測し、異なる画像やプレフィックスで計算された予測を混同する。
より長いキーは、このエイリアスを減少させるが、より少ないステートにマッチする。
ターゲットの予測を1つ、2つ、3つのキーで格納する \methodを紹介します。 コンテキスト記憶は現在の要求に対してのみ生きており、画像に暗黙的に条件付けされているのに対して、トークンレベルのメモリは、カバレッジを維持するためにリクエスト全体で持続します。
それぞれのルックアップにおいて、エントロピー信頼度重み付けは、検索した予測をその重要な特異性と集中度に応じて融合させる。
最優先探索は、接尾辞にマッチした継続によって補足された、融合した木を候補木に構成し、一方のターゲットパスは、greedy復号の下で木を検証する。
トレーニングや補助的なドラフトモデルなしでは、Qwen2.5-VL-7BとLLaVA-1.6-7Bの7つのシングルターンベンチマークにおいて、自動回帰復号の1.66\speed$と1.56\speed$の平均的なスピードアップを達成する。
私たちの実装はhttps://github.com/Senmo996/RECAP-official-codeで利用可能です。
関連論文リスト
- ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。
候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
論文 参考訳(メタデータ) (2026-08-25T11:25:55Z) - SJD++: Improved Speculative Jacobi Decoding for Training-free Acceleration of Discrete Auto-regressive Text-to-Image Generation [92.34355601866629]
大規模な自己回帰モデルは高品質で高解像度の画像を生成することができるが、生成速度が遅い。
本稿では,SJD++ (Speculative Jacobi Decoding++) を提案する。
SJD++は、各フォワードパスでマルチトークン予測を実行し、生成ステップを大幅に削減する。
論文 参考訳(メタデータ) (2025-12-08T12:36:43Z) - Reject Only Critical Tokens: Pivot-Aware Speculative Decoding [31.22793593647334]
投機的復号(SD)は、出力がターゲットモデルの分布と正確に一致することを保証する。
提案するPivot-Aware Speculative Decodingは,最終的な出力の実用性低下につながるトークンのみを拒否する。
さまざまなデータセットにまたがってメソッドを評価し、同等のユーティリティで最大2.5タイムのスピードアップを達成できることを示します。
論文 参考訳(メタデータ) (2025-11-01T01:35:10Z) - Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。
我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。
Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
論文 参考訳(メタデータ) (2025-08-27T15:40:25Z) - AutoJudge: Judge Decoding Without Manual Annotation [13.451750613294054]
AutoJudgeは大規模言語モデル(LLM)推論をタスク固有の損失投機的デコードで高速化する手法である。
提案手法は,ターゲットモデルとドラフトモデルとのミスマッチのどれを修正すべきかを,半グレディな探索アルゴリズムに頼っている。
論文 参考訳(メタデータ) (2025-04-28T17:59:28Z) - SpecTr: Fast Speculative Decoding via Optimal Transport [30.18181671899423]
このアルゴリズムはデコーディングの高速化を図り、デコードされた出力に品質劣化がないことを保証します。
提案手法は,最先端の大規模言語モデルに対して,標準的なベンチマーク上での投機的復号化よりもさらに1.37倍の高速化である2.13Xのウォールクロック高速化を実現することを実験的に実証した。
論文 参考訳(メタデータ) (2023-10-23T17:47:34Z) - Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。
市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。
結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
論文 参考訳(メタデータ) (2023-08-08T19:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。