論文の概要: Beneath the Tokens: A Performance Engineering Study of Multi-Token Prediction in GPU-Accelerated LLM Inference

• arxiv url: http://arxiv.org/abs/2609.35188v1
• Date: Mon, 28 Sep 2026 13:49:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:15:56.534305
• Title: Beneath the Tokens: A Performance Engineering Study of Multi-Token Prediction in GPU-Accelerated LLM Inference
• Title（参考訳）: トークンのベネグス:GPU加速LDM推論におけるマルチトークン予測の性能工学的考察
• Abstract要約: 本研究では,NVIDIA A10G GPU上での単一要求の制御において,自動回帰復号化に対するMTP( two-token multi-token prediction)を評価する。 360-requestベンチマークでは、平文、推論集約、ツールコールのワークロードがカバーされ、ランタイムテレメトリ、Nsight Systems、PyTorch Profiler、選択されたNsight Compute測定が観察されたパフォーマンスを説明するために使用された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive large language model inference repeatedly invokes the target model to generate one token at a time, making generation sensitive to GPU memory movement and sequential execution. This study evaluates two-token multi-token prediction (MTP) against autoregressive decoding in a controlled single-request deployment on an NVIDIA A10G GPU. A 360-request benchmark covered plain-text, reasoning-intensive, and tool-calling workloads, while runtime telemetry, Nsight Systems, PyTorch Profiler, and selected Nsight Compute measurements were used to explain the observed performance. MTP increased output throughput by \(1.91\times\) to \(2.19\times\) across all prompts and reduced time to first output by 10.0--14.2\%. Median mean acceptance length ranged from 2.370 to 2.595 tokens per verification iteration. Profiling showed that MTP introduced a longer and more complex execution path, including proposal, sampling, attention, gathering, and reduction operations. However, it required 56.4--78.1\% fewer executions of the selected repeating CUDA Graph per generated token. The dominant MTP GEMM kernel was not faster than the dominant autoregressive GEMV kernel, and selected instances of both approached the A10G memory-bandwidth limit. These results show that MTP improved inference through amortization: greater token progress reduced repeated GPU execution sufficiently to outweigh the additional speculative-execution cost.
• Abstract（参考訳）: 自動回帰型大言語モデル推論は、ターゲットモデルを繰り返し呼び出し、一度に1つのトークンを生成し、GPUメモリの動きやシーケンシャルな実行に敏感に生成する。 本研究では,NVIDIA A10G GPU上での単一要求の制御において,自動回帰復号化に対するMTP( two-token multi-token prediction)を評価する。 360-requestベンチマークでは、平文、推論集約、ツールコールのワークロードがカバーされ、ランタイムテレメトリ、Nsight Systems、PyTorch Profiler、選択されたNsight Compute測定が観察されたパフォーマンスを説明するために使用された。 MTPは全てのプロンプトで(1.91\times\)から(2.19\times\)までの出力スループットを高め、最初の出力に10.0--14.2\%削減した。メディアの平均受け入れ長は検証イテレーションあたり2.370から2.595トークンの範囲であった。プロファイリングにより、MPPは提案、サンプリング、アテンション、収集、縮小操作を含むより複雑な実行パスを導入した。しかし、選択されたCUDAグラフが生成されたトークン当たりの実行回数を56.4-78.1\%削減した。 支配的なMTP GEMMカーネルは、支配的な自己回帰型GEMVカーネルよりも高速ではなかった。 トークンの進行により、追加の投機的実行コストを上回るように繰り返しGPUの実行が削減された。

関連論文リスト

• GTR: Gated Token Recurrence for Efficient Dense Prediction [23.995331168843748]
  GTR(Gated Token Recurrence)は、ソフトマックスフリーのリカレントビジョンバックボーンである。 GTRは、ゲート線形アテンション、スキャン方向の交互化、空間的に拡張されたSwiGLUブロックを組み合わせる。
  論文  参考訳（メタデータ） (2026-09-22T15:34:20Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。