論文の概要: Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference

• arxiv url: http://arxiv.org/abs/2405.18628v2
• Date: Sun, 2 Jun 2024 14:58:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 13:50:03.122139
• Title: Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference
• Title（参考訳）: LLM推論のメモリ効率向上のためのハードウェア対応並列プロンプトデコーディング
• Authors: Hao Mark Chen, Wayne Luk, Ka Fai Cedric Yiu, Rui Li, Konstantin Mishchenko, Stylianos I. Venieris, Hongxiang Fan,
• Abstract要約: LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
• 参考スコア（独自算出の注目度）: 19.167604927651073
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The auto-regressive decoding of Large Language Models (LLMs) results in significant overheads in their hardware performance. While recent research has investigated various speculative decoding techniques for multi-token generation, these efforts have primarily focused on improving processing speed such as throughput. Crucially, they often neglect other metrics essential for real-life deployments, such as memory consumption and training cost. To overcome these limitations, we propose a novel parallel prompt decoding that requires only $0.0002$% trainable parameters, enabling efficient training on a single A100-40GB GPU in just 16 hours. Inspired by the human natural language generation process, $PPD$ approximates outputs generated at future timesteps in parallel by using multiple prompt tokens. This approach partially recovers the missing conditional dependency information necessary for multi-token generation, resulting in up to a 28% higher acceptance rate for long-range predictions. Furthermore, we present a hardware-aware dynamic sparse tree technique that adaptively optimizes this decoding scheme to fully leverage the computational capacities on different GPUs. Through extensive experiments across LLMs ranging from MobileLlama to Vicuna-13B on a wide range of benchmarks, our approach demonstrates up to 2.49$\times$ speedup and maintains a minimal runtime memory overhead of just $0.0004$%. More importantly, our parallel prompt decoding can serve as an orthogonal optimization for synergistic integration with existing speculative decoding, showing up to $1.22\times$ further speed improvement. Our code is available at https://github.com/hmarkc/parallel-prompt-decoding.
• Abstract（参考訳）: LLM(Large Language Models)の自動回帰デコーディングは、ハードウェア性能に大きなオーバーヘッドをもたらす。 近年,マルチトークン生成のための様々な投機的復号化手法が研究されているが,これらの取り組みはスループットなどの処理速度の向上に主眼を置いている。 重要なのは、メモリ消費やトレーニングコストなど、実際のデプロイメントに必要な他のメトリクスを無視することが多い。 これらの制限を克服するために、0.0002$%のトレーニング可能なパラメータを必要とする新しい並列プロンプトデコーディングを提案し、たった16時間で単一のA100-40GB GPUの効率的なトレーニングを可能にする。 人間の自然言語生成プロセスにインスパイアされた$PPD$は、複数のプロンプトトークンを使用して、将来の時間ステップで生成された出力を並列に近似する。 このアプローチは,マルチトークン生成に必要な条件依存情報を部分的に復元し,長距離予測において最大28%の受入率を得る。 さらに、この復号方式を適応的に最適化し、異なるGPU上での計算能力を完全に活用するハードウェア対応動的スパースツリー手法を提案する。 MobileLlama から Vicuna-13B までの LLM の幅広いベンチマーク実験を通じて、我々のアプローチは最大2.49$\times$ スピードアップを示し、最小限のランタイムメモリオーバーヘッドを0.0004$% で維持する。 さらに重要なことは、我々の並列プロンプトデコーディングは、既存の投機的デコーディングと相乗的統合のための直交最適化として機能し、最大で1.22\times$さらなるスピード改善を示すことである。 私たちのコードはhttps://github.com/hmarkc/parallel-prompt-decoding.comで利用可能です。

関連論文リスト

• SpecExec: Massively Parallel Speculative Decoding for Interactive LLM Inference on Consumer Devices [18.81344021150902]
  SpecExecは単純な並列デコード方式で、LLMファミリ向けのターゲットモデルイテレーション毎に最大20個のトークンを生成することができる。 我々は,RAMオフロードが4～6トークン/秒,量子化が4ビット,あるいは16ビット重みが2～3トークン/秒の一般GPU上で50B以上のパラメータLLMを推定した。
  論文  参考訳（メタデータ） (2024-06-04T17:53:36Z)
• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Think Big, Generate Quick: LLM-to-SLM for Fast Autoregressive Decoding [15.723047976314751]
  大規模言語モデル(LLM)は、実際にはユビキタスなものとなり、翻訳、要約、命令の追従といった生成タスクに広く利用されている。 本稿では,異なるサイズの言語モデルを組み合わせて,自己回帰復号化の効率を高めるハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:28Z)
• Break the Sequential Dependency of LLM Inference Using Lookahead Decoding [27.87483106859749]
  Lookahead decodingは、大規模言語モデル(LLM)のための正確な並列デコーディングアルゴリズムである。 実装により,MT-benchでは1.8倍,コード補完タスクでは4倍まで高速に自動回帰復号を行うことができる。
  論文  参考訳（メタデータ） (2024-02-03T06:37:50Z)
• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)
• DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
  FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。 本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。 最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-10-05T03:47:57Z)
• PARTIME: Scalable and Parallel Processing Over Time with Deep Neural Networks [68.96484488899901]
  PartIMEは、データが継続的にストリーミングされるたびにニューラルネットワークを高速化するように設計されたライブラリです。 PartIMEは、ストリームから利用可能になった時点で、各データサンプルの処理を開始する。 オンライン学習において、PartialIMEと古典的な非並列ニューラル計算を経験的に比較するために実験が行われる。
  論文  参考訳（メタデータ） (2022-10-17T14:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。