論文の概要: Match the Distribution, Not the Compute: Post-Training Multi-Token Prediction Heads

• arxiv url: http://arxiv.org/abs/2610.00888v1
• Date: Thu, 01 Oct 2026 01:09:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.83683
• Title: Match the Distribution, Not the Compute: Post-Training Multi-Token Prediction Heads
• Title（参考訳）: 計算ではなく分布を一致させる:訓練後のマルチトークン予測ヘッド
• Abstract要約: 目標生成チェーンに対する軽量な後学習パスは、凍結推論モデルで期待されるスループットの高速化に到達するのに十分であることを示す。 本稿では,バックボーン言語モデルのトークン分布から有界なドリフトを可能にする,ドラフトトークン検証ルールのチェーン対応緩和を提案する。
• 参考スコア（独自算出の注目度）: 16.96948598580511
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-token prediction (MTP) improves the throughput of autoregressive generation by enabling the language model to draft multiple next tokens per forward pass, while a verification step over draft tokens ensures that token distribution of the backbone is preserved. Every open MTP-family release (MiMo-7B, DeepSeek-V3, Qwen3) trains its heads jointly with the backbone over the full pretraining run of tens of trillions of tokens, thus setting the drafter quality at pretraining time. We ask whether a lightweight post-training pass on target-generated chain-of-thought is enough to reach the same expected throughput speedup on a frozen reasoning model, and study how a serving-time system built on such a checkpoint can be optimized. We present three findings. 1) On a frozen Qwen3-8B with $K{=}3$ chained MTP heads, we show that a post-training recipe with plain cross-entropy on $\approx\!2.5$B tokens reaches or exceeds the expected speedup of jointly trained MiMo-7B on math, coding and knowledge benchmarks. Our post-training recipe utilizes $10^3$-$10^4\times$ less MTP-training tokens as compared with joint pre-training of MiMO-7B MTP baseline. 2) We propose a chain-aware relaxation of draft token verification rule that allows a bounded drift from backbone language model token distribution. We show that this relaxation lifts expected speedups by $+12$ to $+16\%$ per benchmark while preserving task accuracy. 3) We propose an adaptive controller that dynamically chooses the number of MTP heads to be engaged at inference time and demonstrate recovery of upto $11$--$14\%$ loss in speedup using fixed maximum MTP draft length.
• Abstract（参考訳）: マルチトークン予測(MTP)は、言語モデルがフォワードパス毎に複数の次のトークンをドラフトできるようにすることで、自己回帰生成のスループットを向上させる。 オープンなMTPファミリーリリース(MiMo-7B、DeepSeek-V3、Qwen3)は、数兆のトークンをフルトレーニングして、バックボーンと共同でヘッドをトレーニングする。 目標生成チェーン上での軽量なポストトレーニングパスが,凍結推論モデル上で同じスループット向上を達成するのに十分かどうかを問うとともに,このようなチェックポイント上に構築されたサービスタイムシステムをどのように最適化するかを検討する。 3つの結果が得られた。 1) 凍結したQwen3-8Bに$K{=}3$連鎖MTPヘッドを配置すると, $\approx\! 2.5$Bのトークンは、数学、コーディング、知識のベンチマークで共同で訓練されたMiMo-7Bの高速化に到達または超える。 10^3$-$10^4\times $ less MTP-training tokens than the joint pre-training of MiMO-7B MTP baseline。 2) バックボーン言語モデルのトークン分布から有界なドリフトを可能にする,ドラフトトークン検証ルールのチェーン対応緩和を提案する。 この緩和は,タスクの正確性を維持しつつ,ベンチマークあたりの期待スピードアップを+12$から$+16\%に引き上げることを示す。 3)提案する適応制御器は,推定時間に係わるMPPヘッドの数を動的に選択し,最大最大MTPドラフト長を用いて最大11ドル～14ドル%のスピードアップの損失を再現する。

関連論文リスト

• Before the Rollout Ends: Early Terminal Reward Prediction for Long-horizon Coding Agents [65.21544643456632]
  長距離符号化エージェントは、高価なツールコールのシーケンスを完了した後のみ、検証可能な報酬を受け取る。 これは推論コストを増大させ、早期の誤った仮説を増幅し、スパース終末報酬と不安定なトレーニングにつながる可能性がある。 本稿では,行動証拠から終末報酬を予測するContextual Early Reward (CER)を紹介した。
  論文  参考訳（メタデータ） (2026-09-25T20:53:04Z)
• Test-Time Training with Next-Token Prediction [13.051008854390586]
  次世代の予測は、言語モデルを訓練する自己教師型信号である。 この信号が事前訓練された言語モデルにおいてテスト時間トレーニング(TTT)のインナーループ目標を定義できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-19T23:51:35Z)
• Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs [19.38885798529711]
  PIPO (textbfPair-In, Pair-Out) を提案する。 PIPOは、ドラフトトークンが受け入れられるべきかどうかを決定する軽量な信頼性ヘッドをトレーニングする。 AIME 2025、GPQA-Diamond、LiveCodeBench v6、およびQwen3.5-4Bと9BのバックボーンによるLongBench v2の実験によると、PIPOは通常のデコードよりもパス@4を最大7.15ドルポイント改善している。
  論文  参考訳（メタデータ） (2026-05-26T16:31:45Z)
• Efficient Training-Free Multi-Token Prediction via Embedding-Space Probing [3.861463840588074]
  大規模言語モデル(LLM)は、次世代にのみ訓練されているにもかかわらず、潜在マルチトークン予測(MTP)能力を示す。 本研究では,その埋め込み空間から引き出されたオンザフライマスクトークンを用いてLCMを探索するトレーニングフリーMPP手法を提案する。 マスクトケロジットからトップK候補を抽出して投機的トークンツリーを構築し,高確率継続を維持するために軽量プルーニング戦略を適用した。
  論文  参考訳（メタデータ） (2026-03-18T17:14:01Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Predicting the Order of Upcoming Tokens Improves Language Modeling [15.048237391054611]
  MTP(Multi-Token Prediction)は、言語モデルトレーニングにおいて、NTP(Next-Token Prediction)を改善する補助的目的として提案されている。 MTPの正確な将来的なトークン予測は補助的損失としては難しすぎると我々は主張する。 token Order Prediction (TOP) を提案し, 学習からランクへの損失を用いて, 近くでトークンを注文するようにモデルを訓練する。
  論文  参考訳（メタデータ） (2025-08-26T17:43:30Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• L-MTP: Leap Multi-Token Prediction Beyond Adjacent Context for Large Language Models [95.53699156138435]
  本稿では,革新的なトークン予測手法である跳躍マルチトークン予測(L-MTP)を提案する。 従来のMTPとは異なり、L-MTPは中間トークンを戦略的にスキップし、1つのフォワードパスで非逐次トークンを予測する。 理論的には,L-MTPによる推論効率の向上の利点を実証する。
  論文  参考訳（メタデータ） (2025-05-23T05:59:46Z)
• Fast-iTPN: Integrally Pre-Trained Transformer Pyramid Network with Token Migration [138.24994198567794]
  ITPNは2つの精巧な設計で生まれ、1)視覚変換器を用いた最初の事前訓練型特徴ピラミッド(ViT)である。 Fast-iTPNは推論手順を最大70%高速化でき、性能損失は無視できる。
  論文  参考訳（メタデータ） (2022-11-23T06:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。