Fugu-MT 論文翻訳(概要): BASS: Batched Attention-optimized Speculative Sampling

論文の概要: BASS: Batched Attention-optimized Speculative Sampling

arxiv url: http://arxiv.org/abs/2404.15778v2
Date: Wed, 26 Jun 2024 17:29:46 GMT
ステータス: 処理完了
システム内更新日: 2024-06-27 18:45:18.361969
Title: BASS: Batched Attention-optimized Speculative Sampling
Title（参考訳）: BASS: 意図を最適化した投機サンプリング
Authors: Haifeng Qian, Sujan Kumar Gonugondla, Sungsoo Ha, Mingyue Shang, Sanjay Krishna Gouda, Ramesh Nallapati, Sudipta Sengupta, Xiaofei Ma, Anoop Deoras,
Abstract要約: 投機的復号化は、大規模言語モデルをホストする際のレイテンシとスループットを改善する強力な方法として登場した。本稿では,バッチ化された投機的復号化システムについて述べる。私たちのシステムは、HumanEval Pass@Firstの43%とPass@Allの61%のシーケンスを生成することができ、単一シーケンスの投機的デコーディングで実現可能なものよりもはるかに多い。
参考スコア（独自算出の注目度）: 25.716774131268753
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Speculative decoding has emerged as a powerful method to improve latency and throughput in hosting large language models. However, most existing implementations focus on generating a single sequence. Real-world generative AI applications often require multiple responses and how to perform speculative decoding in a batched setting while preserving its latency benefits poses non-trivial challenges. This paper describes a system of batched speculative decoding that sets a new state of the art in multi-sequence generation latency and that demonstrates superior GPU utilization as well as quality of generations within a time budget. For example, for a 7.8B-size model on a single A100 GPU and with a batch size of 8, each sequence is generated at an average speed of 5.8ms per token, the overall throughput being 1.1K tokens per second. These results represent state-of-the-art latency and a 2.15X speed-up over optimized regular decoding. Within a time budget that regular decoding does not finish, our system is able to generate sequences with HumanEval Pass@First of 43% and Pass@All of 61%, far exceeding what's feasible with single-sequence speculative decoding. Our peak GPU utilization during decoding reaches as high as 15.8%, more than 3X the highest of that of regular decoding and around 10X of single-sequence speculative decoding.
Abstract（参考訳）: 投機的復号化は、大規模言語モデルをホストする際のレイテンシとスループットを改善する強力な方法として登場した。しかし、既存の実装のほとんどは単一のシーケンスを生成することに重点を置いている。実世界の生成AIアプリケーションは、しばしば複数の応答と、バッチ環境で投機的復号化を実行する方法を必要とする。本稿では、バッチ化された投機的復号化システムについて述べる。これは、マルチシーケンス生成遅延において新しい最先端の状態を設定し、GPUの優れた利用と、時間予算内での世代品質を示す。例えば、1つのA100 GPU上の7.8Bサイズモデルとバッチサイズが8の場合、各シーケンスは平均速度5.8msで生成され、全体のスループットは毎秒1.1Kである。これらの結果は、最先端のレイテンシと、最適化された正規デコードよりも2.15倍のスピードアップを示している。通常のデコーディングが終わらない時間予算の中で、我々のシステムはHumanEval Pass@Firstの43%とPass@Allの61%のシーケンスを生成することができる。復号化のピークGPU利用率は15.8%、正規復号化の最高値の3倍、単列投機復号化の約10倍に達する。

関連論文リスト

Multi-Token Joint Speculative Decoding for Accelerating Large Language Model Inference [41.93955876156331]
大規模言語モデル (LLM) は様々なタスクにおいてそのパワーを実証しているが、その推論にはかなりの時間とエネルギーコストがかかる。投機的復号法は、より小さなモデルを用いて1つのトークン列を提案し、その後ターゲットの大モデルによってバッチで検証される。自己回帰復号法と比較すると、投機的復号法は同じ数のトークンを生成し、大きなモデルの実行量は少ない。投機的復号化よりも出力の難易度と効率性が良いアルゴリズムは、実際より有用である。
論文参考訳（メタデータ） (2024-07-12T23:29:54Z)
Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [19.167604927651073]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文参考訳（メタデータ） (2024-05-28T22:19:30Z)
Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
論文参考訳（メタデータ） (2024-05-24T04:35:13Z)
Clover: Regressive Lightweight Speculative Decoding with Sequential Knowledge [24.203554078434365]
並列復号処理にシーケンシャルな知識を統合する新しい投機的復号アルゴリズムであるCloverを提案する。クローバーは、バイチュアン=スモールでは91%、バイチュアン=ラージュでは146%でベースラインを上回っている。
論文参考訳（メタデータ） (2024-05-01T00:46:22Z)
Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文参考訳（メタデータ） (2024-04-18T09:17:06Z)
Bifurcated Attention: Accelerating Massively Parallel Decoding with Shared Prefixes in LLMs [39.16152482491236]
Bifurcated attentionは、共有コンテキストバッチデコードシナリオにおける言語モデル推論を強化するために設計された手法である。提案手法は,高バッチサイズおよび拡張コンテキスト長のレイテンシに寄与する重要な要因である冗長メモリIOコストの課題に対処する。
論文参考訳（メタデータ） (2024-03-13T16:30:57Z)
DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training [82.06732962485754]
FlashAttentionは、1つのGPU上でのトレーニングトランスフォーマーベースの大規模言語モデル(LLM)において、2次ピークメモリの使用を線形に削減する。本研究では,長期LLM学習に最適化されたメモリ効率の高い注意機構であるDisTFLASHATTNを紹介する。最近のRing AttentionやDeepSpeed-Ulyssesと比較して、1.67xと1.26 - 1.88xのスピードアップを実現している。
論文参考訳（メタデータ） (2023-10-05T03:47:57Z)
Lossless Acceleration for Seq2seq Generation with Aggressive Decoding [74.12096349944497]
アグレッシブデコーディング(Aggressive Decoding)は、セq2seq生成のための新しいデコーディングアルゴリズムである。提案手法は, 自己回帰復号法と比較し, 同一(あるいは良好な)生成を実現することを目的としている。複数のSeq2seqタスクにおいて、GPU上で最も人気のある6層トランスフォーマーモデル上で、攻撃的デコーディングをテストする。
論文参考訳（メタデータ） (2022-05-20T17:59:00Z)
Speculative Decoding: Exploiting Speculative Execution for Accelerating Seq2seq Generation [80.2267931231335]
本稿では,自己回帰(AR)デコーディングを高速化する投機的実行のアイデアを活用するための投機的デコーディング(SpecDec)を提案する。 SpecDecには2つのイノベーションがある。Spec-Drafter - 効率的なドラフトのために特別に最適化された独立モデル、Spec-Verification - ドラフトされたトークンを効率的に検証するための信頼性の高い方法である。
論文参考訳（メタデータ） (2022-03-30T17:27:09Z)
OMPQ: Orthogonal Mixed Precision Quantization [64.59700856607017]
混合精度量子化は、ハードウェアの多重ビット幅演算を利用して、ネットワーク量子化の全ポテンシャルを解き放つ。本稿では、整数プログラミングの損失と高い相関関係にあるネットワーク性の概念であるプロキシメトリックを最適化することを提案する。このアプローチは、量子化精度にほとんど妥協することなく、検索時間と必要なデータ量を桁違いに削減する。
論文参考訳（メタデータ） (2021-09-16T10:59:33Z)
Consistent Multiple Sequence Decoding [36.46573114422263]
一貫性のある多重シーケンスデコーディングアーキテクチャを導入する。このアーキテクチャは任意の数のシーケンスを一貫した同時復号化を可能にする。重回帰画像キャプションにおける一貫した多重シーケンスデコーダの有効性を示す。
論文参考訳（メタデータ） (2020-04-02T00:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。