論文の概要: Long-Context Drafting Does Not Require Long-Context Drafters
- arxiv url: http://arxiv.org/abs/2610.20865v1
- Date: Wed, 14 Oct 2026 19:54:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.048958
- Title: Long-Context Drafting Does Not Require Long-Context Drafters
- Title（参考訳）: Long-Context Drafting は Long-Context Drafters を必要としない
- Abstract要約: 完全なプレフィックスに出席するドラフト作成者は、ターゲットのコンテキスト依存のコストを継承する。
標準的な応答は、長いコンテキストのドラフトの作成、トレーニングまたは微調整による、あるいはターゲットチェックポイント内に出荷されるマルチトークン予測ヘッドを使用することである。
使用中のドラフトラはターゲット条件付きであり、ターゲットがプレフィックス全体にわたって計算された隠れ状態を読み取るため、これは不要である、と私たちは主張する。
- 参考スコア（独自算出の注目度）: 14.52860678758148
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Speculative decoding pairs a cheap drafter with parallel verification against the target. At ultra-long context it stops paying, because a drafter that attends over the full prefix inherits the target's context-dependent cost, so the speedup it was meant to provide first erodes and then reverses. The standard response is to build a long-context drafter, by training or fine-tuning one, or by using a multi-token-prediction head shipped inside the target checkpoint. We argue this is unnecessary, because the drafters in use are target-conditioned, reading hidden states the target computed over the entire prefix, so distant context already reaches them without their own attention, and verification corrects what they miss. We therefore freeze released short-context drafters and run them far past their training length under two inference-time mechanisms, one bounding the attention cache they see, which fixes their cost, and one re-basing their rotary position indices into the trained range. No weight is touched and the only tunable saturates early, so one vLLM-side configuration spans 4k to two million tokens, costing at most 0.16x of speedup at short length. We prove when a common index shift leaves the drafter's computation exactly unchanged, and decompose acceptance into two measurable gaps with sharp bounds. Whatever speedup a frozen drafter delivers at short context, it retains out to two million tokens, across three target-drafter pairs and five corpora. The claim concerns the flatness rather than the multiple, and removing either mechanism eliminates it. The gain is conditional on the speculative cost per emitted token staying below the matched target-only cost.
- Abstract（参考訳）: 投機的復号化は、目標に対して並列検証を行う安価なドラフトラをペア化する。
完全なプレフィックスに出席するドラフトラが、ターゲットのコンテキスト依存のコストを継承するため、最初のエローダを提供し、次に逆の処理を意図していたため、超長期のコンテキストでは支払いが停止する。
標準の応答は、長いコンテキストのドラフトの作成、トレーニングや微調整、あるいはターゲットのチェックポイント内に出荷されるマルチトークン予測ヘッドを使用することである。
使用中のドラフトラはターゲット条件付きであり、プレフィックス全体を通して計算された対象の隠れ状態を読み取るため、遠方のコンテキストはすでに自分自身の注意を払わずにそれに到達することができ、検証が見逃していることを修正します。
そこで我々は、リリースした短文ドラフトラを凍結し、トレーニング期間を2つの推論時間メカニズムではるかに超過させ、その1つは、注目キャッシュをバウンドさせ、コストを補正し、もう1つは、トレーニング範囲に回転位置指標を再ベースする。
重量は触れず、調整可能な構成は早期に飽和するため、vLLM側の構成は4kから200万のトークンにまたがる。
我々は、共通指数がドラフト作成者の計算を全く変わらないままにしておくことを証明し、受け入れを鋭い境界を持つ2つの測定可能なギャップに分解する。
フリーズドレーダが短期間で配達するスピードはどんなものであれ、3つのターゲット・ドロー・ペアと5つのコーパスで200万のトークンを保持します。
クレームは多重性よりも平坦性に気を配り、いずれのメカニズムも除去する。
利得は、一致した目標のみのコスト以下にとどまる発行トークン当たりの投機コストに条件づけられる。
関連論文リスト
- Speedbumps: Rejection Attacks on Speculative Decoding [4.583780196616783]
我々は、投機的拒絶攻撃(SRA)について研究する。これは、ドラフトモデルとターゲットモデルがより頻繁に一致しない攻撃のクラスである。
これにより、生成されたトークン毎に必要となるターゲットモデル転送が増加し、推論が遅くなり、被害者のコストが増大する。
攻撃者が制御するコンテンツに敵の接尾辞を付加する2つのアタックを導入し、被害者のプロンプトの投機的復号を劣化させる。
論文 参考訳（メタデータ） (2026-10-07T21:35:01Z) - DLoop: Looped Speculative Decoding [57.84976863792784]
投機的復号化は、大規模言語モデルにおける自己回帰生成を加速させる。
検証は各ドラフト段階に従って行われ、不要なターゲットモデルフォワードがパスされる。
提案するDLoopは,検証前に複数の起草段階を適応的に実行するループ型投機復号法である。
論文 参考訳（メタデータ） (2026-10-06T02:55:25Z) - LongSpark: Efficient speculative decoding with a fixed-cost parallel drafter [21.532092822766504]
LongSparkは、複数のモデルスケールにわたる最先端のエンドツーエンド効率を達成する、ブロック拡散ドラフトラである。
長いコンテキストタスクに対して最小の時間単位のコンテキストを提供すると同時に、ドラフトアのコンテキスト状態を桁違いに削減します。
論文 参考訳（メタデータ） (2026-09-29T08:42:58Z) - Carryover Drafting: Recycling Rejected States for Speculative Decoding [19.01427604285096]
投機的復号化 LLM は複数の起草トークンを並列に検証することで推論を加速する。
従来の起草者は、承認されたトークンの表現のみを保持し、拒否されたトークンに費やされた実質的な検証は、効果的に無駄にされたままである。
パラレルドラフト-検証--ドラフトトレーニングを導入する。
論文 参考訳（メタデータ） (2026-09-13T18:20:31Z) - Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context [0.20305676256390928]
StreamingLLMスタイルのスライディングウィンドウを実装しました。
ウィンドウ化は、どのトークンが提案され、どのトークンが受け入れられるかだけを変える。
ドラフトのKV動作セットを一定に制限し、KVエントリの99%を1Mに落としている。
論文 参考訳（メタデータ） (2026-07-23T17:21:44Z) - Test-Time Speculation [15.347747465564458]
投機的復号化は、高速なドラフトモデルを使用してトークンとより正確なターゲットモデルを生成して推論を加速する。
本研究は,最先端の投機家でも受理長は世代長とともに低下することを示した。
我々は,テスト時に投機を継続的に適応させるオンライン蒸留手法である$textitTest-Time Speculation (TTS)$を提案する。
論文 参考訳（メタデータ） (2026-05-10T05:02:39Z) - DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。
ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
論文 参考訳（メタデータ） (2025-09-28T07:00:15Z) - Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。
早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。
ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
論文 参考訳（メタデータ） (2025-09-19T04:51:41Z) - Ouroboros: Generating Longer Drafts Phrase by Phrase for Faster Speculative Decoding [65.94521678103237]
投機的復号化(英: Speculative decoding)は、大規模言語モデルの生成プロセスを加速する広く使われている手法である。
我々は,草案作成プロセスの並列化のために,草案文を生成するOuroborosを紹介した。
ウロボロは投機的復号化で最大2.8倍、バニラ復号化で3.9倍のスピードアップを達成できる。
論文 参考訳（メタデータ） (2024-02-21T11:31:28Z) - WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。
最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。
本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
論文 参考訳（メタデータ） (2022-11-13T09:56:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。