論文の概要: LightMTP: Lightweight Latent Multi-Token Prediction

• arxiv url: http://arxiv.org/abs/2610.06031v1
• Date: Mon, 05 Oct 2026 09:30:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 19:20:45.682499
• Title: LightMTP: Lightweight Latent Multi-Token Prediction
• Title（参考訳）: LightMTP:軽量遅延マルチトークン予測
• Abstract要約: マルチトークン予測(MTP)は、将来のトークンを予測するためのトレーニングモデルによってこの問題に対処する。 潜在MTPアプローチは、将来のトークンをベクトル表現に符号化することで、この効率の問題に対処する。 本稿では,パラメータ効率の高い潜在MPP手法であるLightMTPを提案し,将来的なトークン表現をモデル自身の隠蔽状態からブートストラップする。
• 参考スコア（独自算出の注目度）: 22.08518596965662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Next-token prediction (NTP) is the standard pretraining objective for large language models, yet it provides an explicit training signal only for the immediate next token, which can lead models to exploit local patterns instead of capturing longer-range structure and ideas. Multi-token prediction (MTP) addresses this by training models to predict several future tokens. However, existing MTP methods often introduce a large number of new parameters with limited improvements in downstream performance. Latent MTP approaches address this efficiency issue by encoding future tokens into a vector representation. However, these approaches usually rely on external helper models for future token encoding. We propose LightMTP, a lightweight, i.e., parameter-efficient, latent MTP approach that bootstraps the future token representations from the model's own hidden states. Our two LightMTP variants extend supervision to more future tokens without requiring the additional computational overhead of conventional MTP nor the external supervision latent MTP normally relies on. LightMTP adds at most 1% extra parameters, retains better performance on general language modeling benchmarks, and achieves similar gains in planning, coding, and reasoning.
• Abstract（参考訳）: NTP(Next-token Prediction)は、大規模言語モデルの標準的な事前訓練対象であるが、即時次のトークンのみに明示的なトレーニング信号を提供するため、より長い範囲の構造やアイデアをキャプチャする代わりに、モデルにローカルパターンを活用することができる。 マルチトークン予測(MTP)は、将来のトークンを予測するためのトレーニングモデルによってこの問題に対処する。 しかし、既存のMPP手法では、ダウンストリーム性能が制限された新しいパラメータが多数導入されることが多い。 潜在MTPアプローチは、将来のトークンをベクトル表現に符号化することで、この効率の問題に対処する。 しかしながら、これらのアプローチは通常、将来のトークンエンコーディングのために外部ヘルパーモデルに依存している。 提案するLightMTPは,パラメータ効率の高い潜在MPPアプローチで,将来的なトークン表現をモデル自身の隠蔽状態からブートストラップする。 当社の2つのLightMTP変種は、従来のMPPの計算オーバーヘッドや外部監視潜時MSPが依存することなく、より将来のトークンに監督を拡張します。 LightMTPは、少なくとも1%余分なパラメータを追加し、一般的な言語モデリングベンチマークのパフォーマンスを向上し、計画、コーディング、推論において同様の利益を得る。

関連論文リスト

• How Transformers Learn to Plan via Multi-Token Prediction [33.974020982252206]
  次世代予測(NTP)の代替としてMulti-token Prediction(MTP)が登場した。 MTP は合成グラフパスフィニングタスクとより現実的な推論ベンチマークの両方において NTP を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-04-13T18:04:09Z)
• Efficient Training-Free Multi-Token Prediction via Embedding-Space Probing [3.861463840588074]
  大規模言語モデル(LLM)は、次世代にのみ訓練されているにもかかわらず、潜在マルチトークン予測(MTP)能力を示す。 本研究では,その埋め込み空間から引き出されたオンザフライマスクトークンを用いてLCMを探索するトレーニングフリーMPP手法を提案する。 マスクトケロジットからトップK候補を抽出して投機的トークンツリーを構築し,高確率継続を維持するために軽量プルーニング戦略を適用した。
  論文  参考訳（メタデータ） (2026-03-18T17:14:01Z)
• Hierarchical Token Prepending: Enhancing Information Flow in Decoder-based LLM Embeddings [52.49524240846879]
  本稿では,注目レベルの圧縮と読み出しレベルのオーバーシャッシングを緩和する階層型トークンプレッペンディングを提案する。 HTPは、入力をブロックに分割し、ブロックレベルの要約トークンをその後のブロックにプリペンドし、後方情報フローの経路を作成する。 シンプルなアーキテクチャに依存しない方法として、HTPはゼロショットモデルと微調整モデルの両方を強化し、優れた長期文書埋め込みへのスケーラブルなルートを提供する。
  論文  参考訳（メタデータ） (2025-11-18T19:37:40Z)
• MTP-S2UT: Enhancing Speech-to-Speech Translation Quality with Multi-token Prediction [49.92201266421949]
  音声から単位への翻訳(S2UT)モデルにマルチトークン予測(MTP)損失を導入する。 全てのMPP損失変種がS2UT翻訳の品質を一貫して改善していることが示される。
  論文  参考訳（メタデータ） (2025-10-11T04:06:20Z)
• Pre-Training Curriculum for Multi-Token Prediction in Language Models [2.8071268036220003]
  MTP(Multi-token Prediction)は、最近提案された言語モデルのための事前学習目標である。 本稿では,MTPトレーニングのためのカリキュラム学習戦略を提案し,前向きカリキュラムと逆カリキュラムの2つの変種を探索する。
  論文  参考訳（メタデータ） (2025-05-28T18:19:18Z)
• L-MTP: Leap Multi-Token Prediction Beyond Adjacent Context for Large Language Models [95.53699156138435]
  本稿では,革新的なトークン予測手法である跳躍マルチトークン予測(L-MTP)を提案する。 従来のMTPとは異なり、L-MTPは中間トークンを戦略的にスキップし、1つのフォワードパスで非逐次トークンを予測する。 理論的には,L-MTPによる推論効率の向上の利点を実証する。
  論文  参考訳（メタデータ） (2025-05-23T05:59:46Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。