論文の概要: Multi-Token Prediction via Self-Distillation

• arxiv url: http://arxiv.org/abs/2602.06019v1
• Date: Thu, 05 Feb 2026 18:54:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.141362
• Title: Multi-Token Prediction via Self-Distillation
• Title（参考訳）: 自己蒸留によるマルチトークン予測
• Authors: John Kirchenbauer, Abhimanyu Hans, Brian Bartoldson, Micah Goldblum, Ashwinee Panda, Tom Goldstein,
• Abstract要約: 我々は,事前訓練された自己回帰言語モデルを,スローシングルの次のトークン予測モデルから高速なスタンドアロンマルチトークン予測モデルに変換するための新しいアプローチを検討する。 GSM8Kでは,単一トークン復号性能と比較して平均3倍以上の高速な復号化が可能なモデルを生成する。
• 参考スコア（独自算出の注目度）: 73.81494481537636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing techniques for accelerating language model inference, such as speculative decoding, require training auxiliary speculator models and building and deploying complex inference pipelines. We consider a new approach for converting a pretrained autoregressive language model from a slow single next token prediction model into a fast standalone multi-token prediction model using a simple online distillation objective. The final model retains the exact same implementation as the pretrained initial checkpoint and is deployable without the addition of any auxiliary verifier or other specialized inference code. On GSM8K, our method produces models that can decode more than $3\times$ faster on average at $<5\%$ drop in accuracy relative to single token decoding performance.
• Abstract（参考訳）: 投機的復号化のような既存の言語モデル推論を加速させる技術では、補助投機モデルを訓練し、複雑な推論パイプラインを構築し、デプロイする必要がある。 本稿では, 事前学習した自己回帰言語モデルを, スローシングル次のトークン予測モデルから, 簡易なオンライン蒸留目標を用いて, 高速でスタンドアロンなマルチトークン予測モデルに変換するための新しいアプローチを検討する。 最終モデルは、事前訓練された初期チェックポイントと全く同じ実装を保持しており、補助検証器や他の特別な推論コードを追加せずにデプロイ可能である。 GSM8Kでは, シングルトークン復号性能に対して平均3ドル以上のデコードを, 平均$<5\%$ドロップで高速化できるモデルを生成する。

関連論文リスト

• Continuous Autoregressive Language Models [56.49239051750678]
  我々はCALM(Continuous Autoregressive Language Models)を紹介する。 CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。 我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-10-31T17:58:11Z)
• Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
  我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。 任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
  論文  参考訳（メタデータ） (2025-10-13T21:07:05Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE [15.003006630308517]
  投機的復号(SD)は、より小さなドラフトモデルを用いて複数のトークンを予測することで、大きな言語モデル推論を加速する。 本稿では,専門家の混在(Mixture of Experts, MoE)を利用したJakiroを提案する。 提案手法は予測精度を大幅に向上し,推論高速化を実現する。
  論文  参考訳（メタデータ） (2025-02-10T09:24:06Z)
• The N-Grammys: Accelerating Autoregressive Inference with Learning-Free Batched Speculation [48.52206677611072]
  投機的復号化は、より小さなドラフトモデルによって生成されたトークンを並列に検証することで、言語モデルの自己回帰生成を高速化することを目的としている。 単純な戦略の組み合わせは、異なるタスクに対して大きな推論スピードアップを達成できることを示す。
  論文  参考訳（メタデータ） (2024-11-06T09:23:50Z)
• Faster Language Models with Better Multi-Token Prediction Using Tensor Decomposition [5.575078692353885]
  本稿では, 精度を損なうことなくサンプリング効率を向上させることを目的とした, 変圧器のマルチトークン予測のための新しいモデルを提案する。 階数=r$標準確率分解に一般化することにより、複数のトークンを同時に予測する改良されたモデルを開発する。
  論文  参考訳（メタデータ） (2024-10-23T11:06:36Z)
• Efficient Training of Language Models with Compact and Consistent Next Token Distributions [23.312920633391837]
  我々は, コーパスを崩壊した$n$-gramの分布で事前集約することで, より良いモデルをより高速に訓練できることを示す。 我々の近似は、より大きなデータセットやモデルへのゲインのスケーラビリティを促進する。
  論文  参考訳（メタデータ） (2024-07-03T05:40:41Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。