論文の概要: AdaMTP: An Adaptive Training Paradigm for Multi-Token Prediction
- arxiv url: http://arxiv.org/abs/2608.00434v1
- Date: Sat, 01 Aug 2026 04:18:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.660411
- Title: AdaMTP: An Adaptive Training Paradigm for Multi-Token Prediction
- Title（参考訳）: AdaMTP: マルチトークン予測のための適応型トレーニングパラダイム
- Abstract要約: MTP(Multi-Token Prediction)は,大規模言語モデルのバックボーンを補助的ヘッドで拡張する,効果的なパラダイムとして登場した。
本稿では,適応学習パラダイムであるAdaMTPを提案する。
AdaMTPは3つのバックボーン上の数学的推論、コード生成、一般的なベンチマークを通じて、タスクパフォーマンスと推論スピードアップの両方において、標準のMPPよりも一貫して優れています。
- 参考スコア（独自算出の注目度）: 32.62594861280837
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-Token Prediction (MTP) has emerged as an effective paradigm that augments a shared Large Language Model backbone with auxiliary heads, training the model to predict several future tokens in parallel to enrich its supervision signal and accelerate inference. However, existing training frameworks adopt a rigid, fixed-length prediction horizon, disregarding the highly non-uniform information density of natural language and code. Forcing the auxiliary heads to predict across high-entropy semantic boundaries injects noisy, conflicting training signals; because these heads share the backbone's latent representations, the resulting gradients backpropagate and interfere with the model's core capabilities. We propose AdaMTP, an adaptive training paradigm that dynamically aligns the prediction horizon with the intrinsic predictability of the sequence. At its core, an entropy-based segmentation algorithm leverages the base model to detect sudden surges in uncertainty as semantic boundaries, partitioning sequences into variable-length groups. Each token is assigned an adaptive prediction depth, and a dynamically masked MTP objective suppresses the loss for predictions that cross these boundaries, attenuating the noisy gradients that degrade the backbone. Across mathematical reasoning, code generation, and general benchmarks on three backbones (Llama-3.1-8B, Qwen-2.5-7B, Gemma-3-12B), AdaMTP consistently outperforms standard MTP in both task performance and inference speedup.
- Abstract（参考訳）: MTP(Multi-Token Prediction)は,大規模言語モデルのバックボーンを補助的頭部で拡張し,複数の将来のトークンを並列に予測し,その監視信号を強化し,推論を加速する,効果的なパラダイムとして登場した。
しかし、既存のトレーニングフレームワークでは、自然言語とコードの高度に一様でない情報密度を無視して、厳密で固定長の予測水平線を採用している。
高エントロピーのセマンティック境界を越えて予測するよう補助的ヘッドに強制すると、ノイズや訓練信号が注入され、これらのヘッドはバックボーンの潜伏表現を共有するため、結果として勾配がバックプロパレートされ、モデルのコア機能に干渉する。
本稿では,適応学習パラダイムであるAdaMTPを提案する。
エントロピーに基づくセグメンテーションアルゴリズムは、基本モデルを利用して、意味境界として不確実性の急激な急激な上昇を検知し、配列を可変長のグループに分割する。
各トークンは適応予測深さが割り当てられ、動的にマスクされたMTPの目的は、これらの境界を越える予測の損失を抑え、バックボーンを劣化させるノイズ勾配を減衰させる。
数学的推論、コード生成、および3つのバックボーン上の一般的なベンチマーク(Llama-3.1-8B、Qwen-2.5-7B、Gemma-3-12B)を通じて、AdaMTPはタスク性能と推論速度の両方において標準のMPPよりも一貫して優れている。
関連論文リスト
- Predictive-Generative Drift Decomposition for Speech Enhancement and Separation [42.49632892186173]
本稿では,先行した生成音声による予測手法を増強する,音声強調と分離のためのプラグアンドプレイフレームワークを提案する。
表現力学をタスク固有のドリフトとデノナイジングコンポーネントに分解し、予測推定を生成的サンプリングプロセスに直接組み込む。
これにより、強い事前学習された予測子と生成モデルのパワーを結合する数学的基盤の枠組みが得られる。
論文 参考訳（メタデータ） (2026-05-07T13:04:38Z) - Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models [102.20309135516186]
クロスエントロピー(CE)トレーニングは、言語モデルの密集したスケーラブルな監視を提供する。
言語モデル微調整のための特徴マッチング手法を提案する。
この目的を効率的に最適化するために,エネルギーベースファインチューニングを提案する。
論文 参考訳（メタデータ） (2026-03-12T17:57:50Z) - PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。
既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。
本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
論文 参考訳（メタデータ） (2026-01-08T07:38:46Z) - Infer As You Train: A Symmetric Paradigm of Masked Generative for Click-Through Rate Prediction [9.542597285477683]
生成モデルはクリックスルー率(CTR)予測の分野でますます研究されている。
既存の生成モデルは通常、生成パラダイムをトレーニングフェーズに限定する。
CTR予測のための対称マスク生成パラダイム(SGCTR)を提案する。
SGCTRは、オンライン推論中に生成能力を応用して、入力サンプルの特徴を反復的に緩和する。
論文 参考訳（メタデータ） (2025-11-18T12:07:56Z) - CaReTS: A Multi-Task Framework Unifying Classification and Regression for Time Series Forecasting [7.600702118055632]
CaReTSは、分類と回帰タスクを組み合わせた新しいマルチタスク学習フレームワークである。
4つの変種(CaReTS1--4)がこのフレームワークの下でインスタンス化され、主流の時間モデリングエンコーダが組み込まれる。
実世界のデータセットの実験では、CaReTSが精度を予測するために最先端(SOTA)アルゴリズムより優れていることが示されている。
論文 参考訳（メタデータ） (2025-11-12T22:43:40Z) - Next Interest Flow: A Generative Pre-training Paradigm for Recommender Systems by Modeling All-domain Movelines [8.895768051554162]
本稿では,eコマースレコメンデータシステムのための新しい生成事前学習パラダイムを提案する。
我々のモデルは,ユーザの将来の意図を表す密度の高いベクトル列であるNext Interest Flowを予測することを学ぶ。
パイプライン全体を実装した統合フレームワークである All-domain Moveline Evolution Network (AMEN) を提示する。
論文 参考訳（メタデータ） (2025-10-13T12:13:17Z) - Next-Token Prediction Should be Ambiguity-Sensitive: A Meta-Learning Perspective [12.655285605773932]
我々は,トランスフォーマーがモデルサイズ全体にわたって高いあいまいさの予測に苦慮していることを示す。
予備的な結果は、キャパシティアロケーションの改善とテストタイムのスケーラブルな推論を通じて、あいまいな文脈でかなりの増加を示す。
論文 参考訳（メタデータ） (2025-06-19T13:05:12Z) - ALOcc: Adaptive Lifting-Based 3D Semantic Occupancy and Cost Volume-Based Flow Predictions [91.55655961014027]
シーン理解には3次元セマンティック占有とフロー予測が不可欠である。
本稿では,3つの改善点を目標とした視覚ベースのフレームワークを提案する。
我々の純粋な畳み込みアーキテクチャは、セマンティック占有率とジョイントセマンティックフロー予測の両方のために、複数のベンチマーク上で新しいSOTA性能を確立する。
論文 参考訳（メタデータ） (2024-11-12T11:32:56Z) - Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。
因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
論文 参考訳（メタデータ） (2024-07-01T15:43:25Z) - Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-01-01T12:08:35Z) - Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。
我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。
限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
論文 参考訳（メタデータ） (2023-11-30T18:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。