論文の概要: Adaptive Multi-Token Prediction: How far should we go?

• arxiv url: http://arxiv.org/abs/2610.28619v1
• Date: Tue, 20 Oct 2026 17:56:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.977906
• Title: Adaptive Multi-Token Prediction: How far should we go?
• Title（参考訳）: Adaptive Multi-Token Prediction: どこまで進むべきか?
• Abstract要約: マルチトークン予測(MTP)は,複数のトークンを起草し,単一のターゲットモデルパスで検証することにより,言語モデルデコーディングを高速化する。 本稿では,適応型マルチトークン予測 (AMTP) を導入する。 AMTPは標準のデコードよりも最大4.1倍高速にデコードし、10設定中8設定で固定ウィンドウをマッチまたは性能良くする。
• 参考スコア（独自算出の注目度）: 2.498157488691327
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-token prediction (MTP) can accelerate language-model decoding by drafting several tokens and verifying them in a single target-model pass. However, the best speculation horizon changes with context: longer drafts offer greater amortization when reliable, but can waste compute on suffixes discarded after a rejection. Unlike autoregressive drafting, where a stopping rule can decide token by token, MTP must fix the horizon before drafting, as all heads fire in the same forward pass. We therefore formulate horizon selection as an online control problem, using verification feedback to learn how far the draft can be trusted in each context, and introduce Adaptive Multi-Token Prediction (AMTP): a lightweight controller that requires no retraining and leaves the exact verifier unchanged. To guide horizon selection, we characterize the expected number of tokens committed at each horizon via acceptance survival, the probability that a draft prefix is fully accepted. Before each round, AMTP predicts how far the draft is likely to survive and picks the horizon with the highest expected tokens per second, learning freely from every verification pass. Theoretically, we show that any online learner's prediction error translates into throughput regret against the best horizon for each context, and in turn into a bound on wall-clock completion time. With online gradient descent, this regret is sublinear. Across five draft-target pairings built on Llama-3.1-8B-Instruct with Medusa heads, Meta's MTP models, and Qwen3-4B-Inst-2507-MTP, evaluated on AIME 2025 and GSM8K, AMTP decodes up to 4.1x faster than standard decoding and matches or outperforms the fixed window in 8 of 10 settings, with throughput gains of up to 10%.
• Abstract（参考訳）: マルチトークン予測(MTP)は,複数のトークンを起草し,単一のターゲットモデルパスで検証することにより,言語モデルデコーディングを高速化する。 しかし、最良の憶測は文脈によって変化する: より長いドラフトは、信頼できるときにより大きな償却を提供するが、拒絶後に破棄された接尾辞の計算を無駄にすることができる。 停止規則がトークンごとにトークンを決定できる自己回帰的起草とは異なり、MPPは起草前に地平線を固定しなければならない。 そこで我々は、オンライン制御問題として水平方向選択を定式化し、検証フィードバックを用いて、各文脈におけるドラフトの信頼度を学習し、適応型マルチトークン予測(AMTP)を導入する。 地平線選択を導出するために,各地平線でコミットされるトークンの期待数,ドラフトプレフィックスが完全に受け入れられる確率を特徴付ける。 各ラウンドの前に、AMTPはドラフトがどこまで生き残るかを予測し、最も期待されているトークンを毎秒選択し、検証パス毎に自由に学習する。 理論的には、オンライン学習者の予測誤差は、各文脈の最適地平線に対するスループットの後悔に変換され、その結果、ウォールクロック完了時間に拘束されることを示す。 オンラインの勾配降下では、この後悔はサブリニアだ。 Llama-3.1-8B-Instruct with Medusa head, Meta's MTP model, and Qwen3-4B-Inst-2507-MTP (AIME 2025 と GSM8K で評価された5つのドラフトターゲットペアは、AMTPが標準のデコードよりも4.1倍高速にデコードし、固定ウィンドウを10のセット中8で出力し、スループットは最大10%向上した。

関連論文リスト

• DStill: Trajectory Consistency Distillation for Accelerated One-Step Drafting in Block Diffusion Speculative Decoding [4.728206157621192]
  ブロック拡散投機的復号化は、複数のトークンを並列にドラフトすることで、大きな言語モデル推論を加速する。 離散拡散における一段階のドラフトはトークン分解誤差によって制限される。 DStillは、ターゲット条件付きドラフト作成者自身の多段階改良を1段階のドラフト作成に蒸留するフレームワークである。
  論文  参考訳（メタデータ） (2026-10-19T23:05:16Z)
• Next Token or Vector? Learning How Far to Decode [0.4396400570947921]
  CADENCEは、ドラフトの方法と、ドラフトまでの距離の両方を学ぶ。 学習ルータは、モデル自身の隠れ状態から予測長を選択する。 Llama-3.1-8B-Instruct on Alpaca、GSM8K、HumanEvalによる実験では、ルーター選択位置がより高いドラフト受け入れをもたらすことが示された。
  論文  参考訳（メタデータ） (2026-10-16T01:00:34Z)
• DLoop: Looped Speculative Decoding [57.84976863792784]
  投機的復号化は、大規模言語モデルにおける自己回帰生成を加速させる。 検証は各ドラフト段階に従って行われ、不要なターゲットモデルフォワードがパスされる。 提案するDLoopは,検証前に複数の起草段階を適応的に実行するループ型投機復号法である。
  論文  参考訳（メタデータ） (2026-10-06T02:55:25Z)
• Match the Distribution, Not the Compute: Post-Training Multi-Token Prediction Heads [16.96948598580511]
  目標生成チェーンに対する軽量な後学習パスは、凍結推論モデルで期待されるスループットの高速化に到達するのに十分であることを示す。 本稿では,バックボーン言語モデルのトークン分布から有界なドリフトを可能にする,ドラフトトークン検証ルールのチェーン対応緩和を提案する。
  論文  参考訳（メタデータ） (2026-10-01T01:09:18Z)
• Rethinking Soft Tokens for Parallel Decoding in Diffusion Language Models [62.63931587313321]
  拡散言語モデル(DLMs)は、各段階で複数のトークンを予測してコミットすることで並列生成を可能にする。 最近の研究は、emphsoftトークンが不確実な位置を表すことによってこの問題を緩和できることを示している。 ソフトトークンフィードバックが並列デコードをどのように改善するかは、体系的に検討されていない。
  論文  参考訳（メタデータ） (2026-09-29T12:38:30Z)
• Token-Disentangled Latent Test-Time Scaling for Vision-Language Reasoning [76.50676105904442]
  遅延テストタイムスケーリングは、推論中に隠れた状態を精錬することで推論を改善する。 既存のメソッドは通常、編集可能な潜在トークンすべてに単一のスカラー報酬を適用する。 Token-Disentangled Latent Test-Time Scalingは、潜在精錬トークンを認識できる推論時間フレームワークである。
  論文  参考訳（メタデータ） (2026-09-28T14:10:01Z)
• Efficient Training-Free Multi-Token Prediction via Embedding-Space Probing [3.861463840588074]
  大規模言語モデル(LLM)は、次世代にのみ訓練されているにもかかわらず、潜在マルチトークン予測(MTP)能力を示す。 本研究では,その埋め込み空間から引き出されたオンザフライマスクトークンを用いてLCMを探索するトレーニングフリーMPP手法を提案する。 マスクトケロジットからトップK候補を抽出して投機的トークンツリーを構築し,高確率継続を維持するために軽量プルーニング戦略を適用した。
  論文  参考訳（メタデータ） (2026-03-18T17:14:01Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Predicting the Order of Upcoming Tokens Improves Language Modeling [15.048237391054611]
  MTP(Multi-Token Prediction)は、言語モデルトレーニングにおいて、NTP(Next-Token Prediction)を改善する補助的目的として提案されている。 MTPの正確な将来的なトークン予測は補助的損失としては難しすぎると我々は主張する。 token Order Prediction (TOP) を提案し, 学習からランクへの損失を用いて, 近くでトークンを注文するようにモデルを訓練する。
  論文  参考訳（メタデータ） (2025-08-26T17:43:30Z)
• ML-SpecQD: Multi-Level Speculative Decoding with Quantized Drafts [79.62448915248926]
  16ビットモデル推論の精度を犠牲にすることなくLSM推論を高速化する手法として、投機復号法(SD)が登場した。 MXFP4Weight-Only-Quantization (WOQ)は、単にBF16ターゲットモデルの重みをMXFP4に直接キャストするだけなので、MXFP4モデルをプラグアンドプレイ方式でドラフトとして使用することを提案する。 私たちのプラグアンドプレイソリューションでは,BF16ベースラインの最大2倍のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2025-03-17T08:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。