論文の概要: SpecEE: Accelerating Large Language Model Inference with Speculative Early Exiting

• arxiv url: http://arxiv.org/abs/2504.08850v1
• Date: Fri, 11 Apr 2025 02:38:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:50:18.520497
• Title: SpecEE: Accelerating Large Language Model Inference with Speculative Early Exiting
• Title（参考訳）: SpecEE: 投機的早期実行による大規模言語モデル推論の高速化
• Authors: Jiaming Xu, Jiayi Pan, Yongkang Zhou, Siming Chen, Jinhao Li, Yaoxiu Lian, Junyi Wu, Guohao Dai,
• Abstract要約: SpecEEは投機的早期終了を伴う高速推論エンジンである。 SpecEEはクラウドとPCのシナリオでそれぞれLlama2-7Bで2.25倍と2.43倍のスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 12.317709090608837
• License:
• Abstract: Early exiting has recently emerged as a promising technique for accelerating large language models (LLMs) by effectively reducing the hardware computation and memory access. In this paper, we present SpecEE, a fast LLM inference engine with speculative early exiting. (1) At the algorithm level, we propose the speculation-based lightweight predictor design by exploiting the probabilistic correlation between the speculative tokens and the correct results and high parallelism of GPUs. (2) At the system level, we point out that not all layers need a predictor and design the two-level heuristic predictor scheduling engine based on skewed distribution and contextual similarity. (3) At the mapping level, we point out that different decoding methods share the same essential characteristics, and propose the context-aware merged mapping for predictor with efficient GPU implementations to support speculative decoding, and form a framework for various existing orthogonal acceleration techniques (e.g., quantization and sparse activation) on cloud and personal computer (PC) scenarios, successfully pushing the Pareto frontier of accuracy and speedup. It is worth noting that SpecEE can be applied to any LLM by negligible training overhead in advance without affecting the model original parameters. Extensive experiments show that SpecEE achieves 2.25x and 2.43x speedup with Llama2-7B on cloud and PC scenarios respectively.
• Abstract（参考訳）: ハードウェア計算とメモリアクセスを効果的に削減することで、大規模言語モデル(LLM)を加速するための有望なテクニックとして、最近、早期終了が登場した。 本稿では,投機的早期終了を考慮した高速LLM推論エンジンであるSpecEEを提案する。 1)アルゴリズムレベルでは,投機トークンとGPUの正しい結果と高い並列性との確率的相関を利用して,投機に基づく軽量予測器の設計を提案する。 2) システムレベルでは,全ての層が予測器を必要としているわけではなく,スキュード分布とコンテキスト類似性に基づく2レベルヒューリスティック予測器スケジューリングエンジンを設計する必要がある。 3) マッピングレベルでは,異なる復号法が同一の本質的特徴を共有していることを指摘し,投機的復号化をサポートするための効率的なGPU実装を用いた予測器のコンテキスト認識統合マッピングを提案し,クラウドおよびパーソナルコンピュータ(PC)のシナリオにおける様々な直交加速度技術(量子化とスパースアクティベーション)のためのフレームワークを構築し,精度とスピードアップのParetoフロンティアを推し進めることに成功した。 SpecEEは、モデルのオリジナルのパラメータに影響を与えることなく、事前のトレーニングオーバーヘッドを無視することで、どんなLLMにも適用可能であることに注意してください。 大規模な実験により、SpecEEはクラウドとPCのシナリオでそれぞれLlama2-7Bで2.25倍と2.43倍のスピードアップを達成した。

関連論文リスト

• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)
• Enabling High-Sparsity Foundational Llama Models with Efficient Pretraining and Deployment [56.44025052765861]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、そのサイズは計算のボトルネックを生み出している。 そこで本研究では,高性能LLMの高精度かつ疎結合な基本バージョンを作成するための新しいアプローチを提案する。 スパース量子化LLaMAの最大8.6倍のCPU上での総高速化を示す。
  論文  参考訳（メタデータ） (2024-05-06T16:03:32Z)
• Accelerating Production LLMs with Combined Token/Embedding Speculators [4.649953910785797]
  本報告では,新規な投機的復号化ドラフトモデルの設計と訓練について述べる。 文脈ベクトルとサンプリングトークンの両方にドラフト予測を条件付けすることで、投機器を訓練して高品質なn-gramを効率的に予測することができる。
  論文  参考訳（メタデータ） (2024-04-29T21:59:07Z)
• Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens [15.566726645722657]
  投機的サンプリングに特化して設計された新しいフレームワークを提案する。 このフレームワーク内では、以前に生成されたトークンを効果的に活用し、後続の単語を予測する軽量なドラフトモデルを導入する。 我々は、バニラ自動回帰復号方式と比較して平均遅延速度比が2.7倍になるという印象的な結果を示した。
  論文  参考訳（メタデータ） (2024-02-24T08:10:39Z)
• Extreme Compression of Large Language Models via Additive Quantization [59.3122859349777]
  我々のアルゴリズムは、AQLMと呼ばれ、情報検索のための古典的な加算量子化(AQ)アプローチを一般化する。 トークン生成のためのAQLMの高速GPUおよびCPU実装を提供しており、最適化されたFP16実装を高速にマッチングまたは性能良くすることができる。
  論文  参考訳（メタデータ） (2024-01-11T18:54:44Z)
• The Synergy of Speculative Decoding and Batching in Serving Large Language Models [3.3849225405083336]
  本稿では,異なるバッチサイズに対して最適な投機長を選択する新しい投機的復号法を提案する。 提案手法は, 提案手法により, 固定された投機長を持つ, 最先端の投機復号方式と同等以上の性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-28T20:36:36Z)
• LiteG2P: A fast, light and high accuracy model for grapheme-to-phoneme conversion [18.83348872103488]
  Grapheme-to-phoneme (G2P) は文字を対応する発音に変換する役割を担っている。 既存のメソッドはパフォーマンスが遅いか悪いかのいずれかで、アプリケーションのシナリオに制限がある。 本稿では,高速で軽量で理論的に並列なLiteG2Pを提案する。
  論文  参考訳（メタデータ） (2023-03-02T09:16:21Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• Design and Prototyping Distributed CNN Inference Acceleration in Edge Computing [85.74517957717363]
  HALPはエッジコンピューティングにおけるエッジデバイス(ED)間のシームレスなコラボレーションを設計することで推論を加速する。 実験により、分散推論HALPはVGG-16に対して1.7倍の推論加速を達成することが示された。 分散推論HALPを用いたモデル選択は,サービスの信頼性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2022-11-24T19:48:30Z)
• Multi-Horizon Forecasting for Limit Order Books: Novel Deep Learning Approaches and Hardware Acceleration using Intelligent Processing Units [3.04585143845864]
  我々は、深層学習技術を用いて、リミットオーダーブック(LOB)データのためのマルチ水平予測モデルを設計する。 提案手法は,短時間の予測地平線における最先端のアルゴリズムに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2021-05-21T16:06:41Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。