論文の概要: Multi-Token Prediction Done Right

• arxiv url: http://arxiv.org/abs/2610.38331v1
• Date: Wed, 28 Oct 2026 06:31:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.377009
• Title: Multi-Token Prediction Done Right
• Title（参考訳）: マルチトークン予測が正しい
• Abstract要約: MTP(Multi-Token Prediction)は、現在、言語モデル事前学習において一般的な要素である。 MTPグラデーションの残留成分が次点学習と多点学習の両方に干渉する標準MPPトレーニングの欠陥を同定する。 2つの分布が線形出力ヘッドを共有するとき、KLの分岐の勾配は、その交叉エントロピー勾配を正確に組み合わせることで、正確に回復することができる。
• 参考スコア（独自算出の注目度）: 3.3842793760651557
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-Token Prediction (MTP) is now a common ingredient in language-model pre-training, as it improves downstream performance and enables faster inference through speculative decoding. We identify a flaw in standard MTP training, in which a residual component of the MTP gradient interferes with both next-token and multi-token learning, increasingly so with scale. Specifically, the MTP cross-entropy gradient can be decomposed exactly into a KL self-distillation term that pulls each MTP head toward the model's own next-token prediction (NTP) distribution and improves speculative decoding, and a residual that has a low signal-to-noise ratio and buries the useful KL signal. We introduce the KL gradient-recovery trick: when two distributions share a linear output head, the gradient of their KL divergence can be recovered exactly by combining their cross-entropy gradients through straight-through gradient routing. Unlike minimizing the KL directly, this trick requires no vocabulary-sized logit matrices and is compatible with standard fused cross-entropy kernels. This enables Soft Multi-Token Prediction (Soft-MTP), a one-line code change to MTP that removes the noisy residual and backpropagates only the KL self-distillation signal by reusing the existing NTP and MTP cross-entropy computations. Soft-MTP supports both DeepSeek- and Meta-style MTP, adds no parameters, and incurs no measurable overhead. From 167M to 1.2B parameters, Soft-MTP improves over standard MTP with lower NTP perplexity, faster speculative decoding and higher zero-shot accuracy at every scale, lower MTP perplexity from 689M onward, and stronger math and code reasoning after fine-tuning at 1.2B. Soft-MTP also matches, if not exceeds, direct KL divergence minimization on most metrics. Soft-MTP is, in effect, a free lunch for MTP optimization. Our code can be found at https://github.com/JaydenTeoh/Soft-MTP.
• Abstract（参考訳）: マルチトークン予測(MTP)は、下流の性能を改善し、投機的復号化による推論の高速化を可能にするため、言語モデル事前学習において一般的な要素となっている。 MTPグラデーションの残留成分が次点学習と多点学習の両方に干渉する標準MPPトレーニングの欠陥を,大規模化とともに発見する。 具体的には、MTPクロスエントロピー勾配をKL自己蒸留項に分解して、各MPPヘッドをモデル自身の次のトーケン予測(NTP)分布へ引き上げ、投機的復号化を改善する。 2つの分布が線形出力ヘッドを共有するとき、そのKL分散の勾配は、直線スルー勾配ルーティングを通してそれらのクロスエントロピー勾配を正確に組み合わせることで、正確に回復することができる。 KLを直接最小化するのとは異なり、このトリックは語彙サイズのロジット行列を必要とせず、標準的な融合したクロスエントロピーカーネルと互換性がある。 これにより、MTPへの1行のコード変更であるSoft Multi-Token Prediction (Soft-MTP)が可能となり、既存のNTPとMPPのクロスエントロピー計算を再利用することで、ノイズ残差を除去し、KL自己蒸留信号のみをバックプロパゲートする。 Soft-MTPはDeepSeek-とMeta-style MTPの両方をサポートし、パラメータを追加せず、測定可能なオーバーヘッドも発生しない。 167M から 1.2B まで、Soft-MTP は標準 MTP よりも低い NTP パープレキシティ、より高速な投機的復号化、より高速なゼロショット精度、689M 以降の MTP パープレキシティ、1.2B での微調整後のより強い数学とコード推論を改良した。 ソフトMTPは、超過しないとしても、ほとんどの指標で直接KLの発散最小化と一致する。 ソフトMTPは、事実上、MPP最適化のための無料ランチである。 私たちのコードはhttps://github.com/JaydenTeoh/Soft-MTPで確認できます。

関連論文リスト

• LightMTP: Lightweight Latent Multi-Token Prediction [22.08518596965662]
  マルチトークン予測(MTP)は、将来のトークンを予測するためのトレーニングモデルによってこの問題に対処する。 潜在MTPアプローチは、将来のトークンをベクトル表現に符号化することで、この効率の問題に対処する。 本稿では,パラメータ効率の高い潜在MPP手法であるLightMTPを提案し,将来的なトークン表現をモデル自身の隠蔽状態からブートストラップする。
  論文  参考訳（メタデータ） (2026-10-05T09:30:30Z)
• Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling [87.16803442525755]
  強化学習(RL)は、現代の大規模言語モデルにおいて重要なコンポーネントとなっているが、ロールアウトステージは、RLトレーニングパイプラインにおける重要なボトルネックであり続けている。 MTP(Multi-Token Prediction)は投機的復号化によってロールアウトを加速する自然な解を提供するが、多くの研究で、MTPの受入率がRLトレーニング中に著しく低下することが観察されている。 本稿では,LLMポストトレーニングにおけるMPPの体系的研究であるBebopを紹介し,大規模なRLパイプラインにMPPを統合するための実践的なレシピを提供する。
  論文  参考訳（メタデータ） (2026-06-10T17:36:45Z)
• CLP: Collocation-Length Prediction for Zero-Loss Adaptive Multi-Token Inference [3.8380090640598]
  CLPは軽量なスパンレベルの決定層で、デコーディングの各ステップで安全に追加トークンが受け入れられる回数を予測する。 CLPは1.5Bでは1.20x--1.29x、7Bでは1.14x--1.20x、品質劣化はゼロである。 我々は、MPPヘッド予測精度を加速度の束縛制約として同定する。
  論文  参考訳（メタデータ） (2026-06-09T14:45:12Z)
• Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration [61.46060073417047]
  MTP(Multi-Token Prediction)は、事前トレーニングにおいて広く採用されているモジュールである。 RL目標に対するMPPの段差効果は,第1次相関と第2次ペナルティの2つの項に分解できることを示す。 本稿では,ログ確率プロキシを用いて最適係数を無視可能なコストでオンラインで追跡する適応型手法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T09:07:06Z)
• How Transformers Learn to Plan via Multi-Token Prediction [33.974020982252206]
  次世代予測(NTP)の代替としてMulti-token Prediction(MTP)が登場した。 MTP は合成グラフパスフィニングタスクとより現実的な推論ベンチマークの両方において NTP を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-04-13T18:04:09Z)
• Self-Distillation for Multi-Token Prediction [27.12687724768597]
  マルチトークン予測(MTP)は、複数の将来トークンを並列に予測することで、推論を加速することができる。 MTP-Dは, トレーニングコストを最小限に抑えつつ, 簡便かつ効果的な自己蒸留法である。 また、MPP-Dのループ拡張戦略を導入し、効果的かつ経済的なMPPヘッド拡張を可能にした。
  論文  参考訳（メタデータ） (2026-03-25T04:00:29Z)
• MTP-S2UT: Enhancing Speech-to-Speech Translation Quality with Multi-token Prediction [49.92201266421949]
  音声から単位への翻訳(S2UT)モデルにマルチトークン予測(MTP)損失を導入する。 全てのMPP損失変種がS2UT翻訳の品質を一貫して改善していることが示される。
  論文  参考訳（メタデータ） (2025-10-11T04:06:20Z)
• FastMTP: Accelerating LLM Inference with Enhanced Multi-Token Prediction [11.691960175716163]
  本稿では,MTPトレーニングを推論パターンに整合させることで,多段階のドラフト品質を向上させるFastMTPを提案する。 我々のアプローチは、自己蒸留データに位置共有重みを付加した単一のMPPヘッドを微調整することで、連続した将来のトークン間の依存関係をキャプチャすることができる。 7つの異なるベンチマークによる実験結果から、FastMTPは標準的な次のトークン予測と比較して平均2.03倍のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2025-09-16T07:36:26Z)
• L-MTP: Leap Multi-Token Prediction Beyond Adjacent Context for Large Language Models [95.53699156138435]
  本稿では,革新的なトークン予測手法である跳躍マルチトークン予測(L-MTP)を提案する。 従来のMTPとは異なり、L-MTPは中間トークンを戦略的にスキップし、1つのフォワードパスで非逐次トークンを予測する。 理論的には,L-MTPによる推論効率の向上の利点を実証する。
  論文  参考訳（メタデータ） (2025-05-23T05:59:46Z)
• Fast-iTPN: Integrally Pre-Trained Transformer Pyramid Network with Token Migration [138.24994198567794]
  ITPNは2つの精巧な設計で生まれ、1)視覚変換器を用いた最初の事前訓練型特徴ピラミッド(ViT)である。 Fast-iTPNは推論手順を最大70%高速化でき、性能損失は無視できる。
  論文  参考訳（メタデータ） (2022-11-23T06:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。