論文の概要: Beyond Multi-Token Prediction: Pretraining LLMs with Future Summaries

• arxiv url: http://arxiv.org/abs/2510.14751v1
• Date: Thu, 16 Oct 2025 14:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.909197
• Title: Beyond Multi-Token Prediction: Pretraining LLMs with Future Summaries
• Title（参考訳）: マルチトークン予測を超えて: 将来のサプリメントによるLCMの事前学習
• Authors: Divyat Mahajan, Sachin Goyal, Badr Youbi Idrissi, Mohammad Pezeshki, Ioannis Mitliagkas, David Lopez-Paz, Kartik Ahuja,
• Abstract要約: 将来の要約予測(FSP)は、長期的な未来のコンパクトな表現を予測するために補助ヘッドを訓練する。 FSPは数学、推論、コーディングベンチマークで NTP と MTP の両方の改善を提供する。
• 参考スコア（独自算出の注目度）: 35.39150917025755
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Next-token prediction (NTP) has driven the success of large language models (LLMs), but it struggles with long-horizon reasoning, planning, and creative writing, with these limitations largely attributed to teacher-forced training. Multi-token prediction (MTP) partially mitigates these issues by predicting several future tokens at once, but it mostly captures short-range dependencies and offers limited improvement. We propose future summary prediction (FSP), which trains an auxiliary head to predict a compact representation of the long-term future, preserving information relevant for long-form generations. We explore two variants of FSP: handcrafted summaries, for example, a bag of words summary of the future of the sequence, and learned summaries, which use embeddings produced by a reverse language model trained from right to left. Large-scale pretraining experiments (3B and 8B-parameter models) demonstrate that FSP provides improvements over both NTP and MTP across math, reasoning, and coding benchmarks.
• Abstract（参考訳）: 次世代の予測 (NTP) は大規模言語モデル (LLM) の成功を後押ししてきたが、長い水平推論、計画、創造的記述に苦慮しており、これらの制限は主に教師による訓練によるものである。 MTP(Multi-token Prediction)は、いくつかの将来のトークンを一度に予測することで、これらの問題を部分的に緩和するが、ほとんどの場合、短距離依存を捕捉し、限定的な改善を提供する。 本稿では,長期化に関連する情報を保存しながら,長期化のコンパクトな表現を予測するために,補助的頭部を訓練する将来的要約予測(FSP)を提案する。 FSPの2つの変種を探索する:手作り要約、例えば、シーケンスの未来を要約した単語の袋、そして右から左へ訓練された逆言語モデルによって生成された埋め込みを用いた要約を学習する。 大規模事前学習実験 (3B および 8B パラメータモデル) により、FSP は数学、推論、および符号化ベンチマークにおいて NTP と MTP の両方に改善をもたらすことを示した。

関連論文リスト

• Your LLM Knows the Future: Uncovering Its Multi-Token Prediction Potential [12.719829360337833]
  本稿では,バニラ自己回帰言語モデルにおける未来のトークンに関する固有知識を活用する新しいフレームワークを提案する。 本手法は,事前学習モデルの教師付き微調整により,大幅な高速化を実現する。
  論文  参考訳（メタデータ） (2025-07-16T02:31:40Z)
• Reinforcement Pre-Training [78.5355979575498]
  大規模言語モデルと強化学習(RL)のための新しいスケーリングパラダイムとしてReinforcement Pre-Training(RPT)を導入する。 RPTは、ドメイン固有の注釈付き回答に頼るのではなく、大量のテキストデータを汎用RLに活用するためのスケーラブルな方法を提供する。 その結果、RTPは言語モデルの事前学習を促進するための効果的で有望なスケーリングパラダイムとして位置づけられた。
  論文  参考訳（メタデータ） (2025-06-09T17:59:53Z)
• Pre-Training Curriculum for Multi-Token Prediction in Language Models [2.8071268036220003]
  MTP(Multi-token Prediction)は、最近提案された言語モデルのための事前学習目標である。 本稿では,MTPトレーニングのためのカリキュラム学習戦略を提案し,前向きカリキュラムと逆カリキュラムの2つの変種を探索する。
  論文  参考訳（メタデータ） (2025-05-28T18:19:18Z)
• L-MTP: Leap Multi-Token Prediction Beyond Adjacent Context for Large Language Models [95.53699156138435]
  本稿では,革新的なトークン予測手法である跳躍マルチトークン予測(L-MTP)を提案する。 従来のMTPとは異なり、L-MTPは中間トークンを戦略的にスキップし、1つのフォワードパスで非逐次トークンを予測する。 理論的には,L-MTPによる推論効率の向上の利点を実証する。
  論文  参考訳（メタデータ） (2025-05-23T05:59:46Z)
• Efficient Joint Prediction of Multiple Future Tokens [20.647830092055955]
  本稿では,JTP(Joint Multi-token Prediction)を導入する。 従来のマルチトークン予測手法とは異なり、JTPは将来トークンの教師強制を戦略的に採用している。 本稿では,JTP手法が短時間の信念状態表現を実現するのに対して,マルチトークン予測の一般的な代替手段では実現できないことを示す。
  論文  参考訳（メタデータ） (2025-03-24T19:52:42Z)
• Adversarial Generative Grammars for Human Activity Prediction [141.43526239537502]
  将来予測のための逆生成文法モデルを提案する。 私たちの文法は、データ分散から生産ルールを学習できるように設計されています。 推論中に複数の生産ルールを選択することができると、予測される結果が異なる。
  論文  参考訳（メタデータ） (2020-08-11T17:47:53Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。