論文の概要: Efficient Speculative Decoding for Llama at Scale: Challenges and Solutions

• arxiv url: http://arxiv.org/abs/2508.08192v1
• Date: Mon, 11 Aug 2025 17:11:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:29.230337
• Title: Efficient Speculative Decoding for Llama at Scale: Challenges and Solutions
• Title（参考訳）: スケールでのLlamaの効率的な投機的デコーディング - 課題と解決策
• Authors: Bangsheng Tang, Carl Chengyan Fu, Fei Kou, Grigory Sizov, Haoci Zhang, Jason Park, Jiawen Liu, Jie You, Qirui Yang, Sachin Mehta, Shengyong Cai, Xiaodong Wang, Xingyu Liu, Yunlu Li, Yanjun Zhou, Wei Wei, Zhiwei Zhao, Zixi Qi, Adolfo Victoria, Aya Ibrahim, Bram Wasti, Changkyu Kim, Daniel Haziza, Fei Sun, Giancarlo Delfin, Emily Guo, Jialin Ouyang, Jaewon Lee, Jianyu Huang, Jeremy Reizenstein, Lu Fang, Quinn Zhu, Ria Verma, Vlad Mihailescu, Xingwen Guo, Yan Cui, Ye Hu, Yejin Lee,
• Abstract要約: Llamaモデルの生産規模で投機的復号化を実現するために実装したトレーニングおよび推論最適化手法について述べる。 これらの変更により、Llamaモデルに対する最先端の推論レイテンシが新たに実現される。 例えば、Llama4 Maverickは8つのNVIDIA H100 GPU上でトークンあたり約4ミリ秒でデコードする(バッチサイズは1である)。
• 参考スコア（独自算出の注目度）: 37.26410494260306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding is a standard method for accelerating the inference speed of large language models. However, scaling it for production environments poses several engineering challenges, including efficiently implementing different operations (e.g., tree attention and multi-round speculative decoding) on GPU. In this paper, we detail the training and inference optimization techniques that we have implemented to enable EAGLE-based speculative decoding at a production scale for Llama models. With these changes, we achieve a new state-of-the-art inference latency for Llama models. For example, Llama4 Maverick decodes at a speed of about 4 ms per token (with a batch size of one) on 8 NVIDIA H100 GPUs, which is 10% faster than the previously best known method. Furthermore, for EAGLE-based speculative decoding, our optimizations enable us to achieve a speed-up for large batch sizes between 1.4x and 2.0x at production scale.
• Abstract（参考訳）: 投機的復号化(英: Speculative decoding)は、大規模言語モデルの推論速度を高速化する標準的な方法である。 しかし、本番環境でのスケーリングには、GPU上でさまざまな操作(ツリーアテンションやマルチラウンド投機的デコーディングなど)を効率的に実装するなど、いくつかのエンジニアリング上の課題がある。 本稿では,Llama モデルの生産規模で EAGLE ベースの投機的復号化を実現するために実装したトレーニングと推論の最適化手法について述べる。 これらの変更により、Llamaモデルに対する最先端の推論レイテンシが新たに実現される。 例えば、Llama4 Maverickは8つのNVIDIA H100 GPU上でトークンあたり約4ミリ秒でデコードする(バッチサイズは1である)。 さらに,ERGLEに基づく投機的復号化では,実運用規模で1.4倍から2.0倍の大規模バッチサイズの高速化を実現することができる。

関連論文リスト

• Decoder-Hybrid-Decoder Architecture for Efficient Reasoning with Long Generation [129.45368843861917]
  我々は、レイヤ間の効率的なメモリ共有のためのシンプルで効果的なメカニズムであるGated Memory Unit(GMU)を紹介した。 これは、GMUを組み込んでSambaベースのセルフデコーダからメモリ読み出し状態を共有するデコーダ・ハイブリッド・デコーダアーキテクチャである。
  論文  参考訳（メタデータ） (2025-07-09T07:27:00Z)
• Speculative Decoding Meets Quantization: Compatibility Evaluation and Hierarchical Framework Design [34.04231165571518]
  投機的復号化と量子化は、大きな言語モデルのメモリバウンド推論を効果的に加速する。 量子化は、重みとアクティベーションを低ビット幅に圧縮することでこれを達成し、低ビット行列乗算による計算を減らす。 実験により、4ビットの重み量子化によるメモリの利点は、投機的復号化による計算負荷によって減少することが示された。
  論文  参考訳（メタデータ） (2025-05-28T09:55:08Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [19.167604927651073]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• Break the Sequential Dependency of LLM Inference Using Lookahead Decoding [27.87483106859749]
  Lookahead decodingは、大規模言語モデル(LLM)のための正確な並列デコーディングアルゴリズムである。 実装により,MT-benchでは1.8倍,コード補完タスクでは4倍まで高速に自動回帰復号を行うことができる。
  論文  参考訳（メタデータ） (2024-02-03T06:37:50Z)
• FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU [89.2451963569343]
  FlexGenは、単一のコモディティGPU上で大きな言語モデル(LLM)推論を実行するための世代エンジンである。 1つの16GB GPU上でOPT-175Bを実行する場合、FlexGenは最先端のオフロードシステムに比べてスループットが大幅に向上する。 HELMベンチマークでは、FlexGenは7つの代表サブシナリオに16GBのGPUで30Bモデルを21時間でベンチマークすることができる。
  論文  参考訳（メタデータ） (2023-03-13T05:19:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。