論文の概要: Next Token or Vector? Learning How Far to Decode

• arxiv url: http://arxiv.org/abs/2610.22788v1
• Date: Fri, 16 Oct 2026 01:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.723581
• Title: Next Token or Vector? Learning How Far to Decode
• Title（参考訳）: 次のトーケンかベクターか? どこまでデコードするかを学ぶ
• Abstract要約: CADENCEは、ドラフトの方法と、ドラフトまでの距離の両方を学ぶ。 学習ルータは、モデル自身の隠れ状態から予測長を選択する。 Llama-3.1-8B-Instruct on Alpaca、GSM8K、HumanEvalによる実験では、ルーター選択位置がより高いドラフト受け入れをもたらすことが示された。
• 参考スコア（独自算出の注目度）: 0.4396400570947921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard autoregressive decoding advances one token at a time, even when several upcoming tokens can be predicted together. We propose CADENCE (Context-Adaptive DEcoding), a generation method that learns both what to draft and how far to draft. Gaussian prediction heads represent future spans as continuous latent vectors, and a shared decoder converts the selected vector into token predictions in parallel. A learned router selects the prediction length from the model's own hidden states and predicted Gaussian parameters, adapting generation granularity to the current context with single-token generation as a fallback. The backbone verifies each proposed continuation and retains the prefix that matches its greedy predictions. Experiments with Llama-3.1-8B-Instruct on Alpaca, GSM8K, and HumanEval show that router-selected positions yield higher draft acceptance than applying the corresponding prediction length everywhere. CADENCE achieves up to 1.3x higher generation throughput than standard greedy decoding.
• Abstract（参考訳）: 標準的な自己回帰復号化は、複数のトークンを同時に予測できる場合でも、一度に1つのトークンを前進させる。 そこで我々は, CADENCE (Context-Adaptive Decoding) を提案する。 ガウス予測ヘッドは、将来のスパンを連続潜在ベクトルとして表現し、共有デコーダは選択したベクトルを並列にトークン予測に変換する。 学習ルータは、モデル自身の隠れ状態から予測長を選択し、ガウスパラメータを予測し、単一のトーケン生成をフォールバックとして、現在のコンテキストに生成の粒度を適用する。 バックボーンは提案された各継続を検証し、その強欲な予測に一致するプレフィックスを保持する。 Llama-3.1-8B-Instruct on Alpaca、GSM8K、HumanEvalの実験により、ルータ選択された位置は、対応する予測長を至る所で適用するよりも高いドラフト受け入れが得られることが示された。 CADENCEは標準のgreedyデコーディングの最大1.3倍のスループットを実現している。

関連論文リスト

• DLoop: Looped Speculative Decoding [57.84976863792784]
  投機的復号化は、大規模言語モデルにおける自己回帰生成を加速させる。 検証は各ドラフト段階に従って行われ、不要なターゲットモデルフォワードがパスされる。 提案するDLoopは,検証前に複数の起草段階を適応的に実行するループ型投機復号法である。
  論文  参考訳（メタデータ） (2026-10-06T02:55:25Z)
• SJD++: Improved Speculative Jacobi Decoding for Training-free Acceleration of Discrete Auto-regressive Text-to-Image Generation [92.34355601866629]
  大規模な自己回帰モデルは高品質で高解像度の画像を生成することができるが、生成速度が遅い。 本稿では,SJD++ (Speculative Jacobi Decoding++) を提案する。 SJD++は、各フォワードパスでマルチトークン予測を実行し、生成ステップを大幅に削減する。
  論文  参考訳（メタデータ） (2025-12-08T12:36:43Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Your LLM Knows the Future: Uncovering Its Multi-Token Prediction Potential [12.719829360337833]
  本稿では,バニラ自己回帰言語モデルにおける未来のトークンに関する固有知識を活用する新しいフレームワークを提案する。 本手法は,事前学習モデルの教師付き微調整により,大幅な高速化を実現する。
  論文  参考訳（メタデータ） (2025-07-16T02:31:40Z)
• Predicting Through Generation: Why Generation Is Better for Prediction [10.098410272203301]
  本稿では,トークンレベルの生成が相互情報を保持するため,予測タスクにプール表現を使用するよりも,出力トークンの生成の方が効果的であると主張している。 PredGenは、(i)露光バイアスを減らすためにスケジュールサンプリングを使用するエンド・ツー・エンドのフレームワークで、(ii)生成されたトークンを構造化された出力に変換するタスクアダプタを導入します。 以上の結果から,PredGenは標準ベースラインを一貫して上回り,構造化予測タスクの有効性を示した。
  論文  参考訳（メタデータ） (2025-02-25T03:48:19Z)
• Improving Next Tokens via Second-to-Last Predictions with Generate and Refine [1.8592384822257952]
  トークン列の2番目から最後のトークンを予測するために,デコーダのみのアーキテクチャをトレーニングする。 提案手法により,BERTモデルよりも高い計算訓練効率が得られる。
  論文  参考訳（メタデータ） (2024-11-23T22:09:58Z)
• FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
  FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。 いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-27T15:53:49Z)
• Future Token Prediction -- Causal Language Modelling with Per-Token Semantic State Vector for Multi-Token Prediction [0.0]
  本研究では,Future Token Prediction(FTP)と呼ばれる事前学習手法について検討する。 FTPは、擬似シーケンスに線形かつ拡張的に投影される各トークン位置の埋め込みベクトルを生成する。 プログラミングの問題として、FTPネットワークはGPTネットワークよりもはるかに優れた結果をもたらす。
  論文  参考訳（メタデータ） (2024-10-23T14:50:15Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。