論文の概要: Speculative Decoding: Lossless Speedup of Autoregressive Translation
- arxiv url: http://arxiv.org/abs/2203.16487v5
- Date: Mon, 16 Oct 2023 07:24:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 07:09:38.570097
- Title: Speculative Decoding: Lossless Speedup of Autoregressive Translation
- Title(参考訳): 投機的復号:自己回帰翻訳のロスレス高速化
- Authors: Heming Xia, Tao Ge, Si-Qing Chen, Furu Wei, Zhifang Sui
- Abstract要約: 本稿では,コンピュータアーキテクチャにおける投機的実行にインスパイアされた新しい復号パラダイムSpecDecを提案する。
SpecDecはまず、NATモデルで次の$k$トークンを投機的にドラフト(デコード)し、ATモデルで検証する。
我々は4つの標準WMT翻訳ベンチマークで実験を行い、バニラSpecDecがATgreedy復号と全く同じ結果を得ることを確認した。
- 参考スコア(独自算出の注目度): 81.99257001639837
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Different from some previous work accelerating autoregressive translation
(AT) at the sacrifice of quality, we propose Speculative Decoding (SpecDec) --
a novel decoding paradigm inspired by speculative execution in computer
architecture, which combines respective advantages of AT and non-autoregressive
translation (NAT) for lossless speedup of translation. At each decoding step,
SpecDec first speculatively drafts (i.e. decodes) next $k$ tokens with an NAT
model and then verifies them with an AT model, where only the drafted tokens
passing the verification are accepted as decoded tokens for guaranteeing its
translation result is exactly the same as AT. The collaboration of NAT drafting
and AT verification leads to a much higher decoding speed without quality loss
due to parallel computing enabled by speculative decoding.
We conduct experiments in 4 standard WMT translation benchmarks and confirm
the vanilla SpecDec yields exactly the same results as AT greedy decoding with
an around $3\times$ speedup, and that its variant (SpecDec++) with an advanced
verification strategy not only outperforms AT greedy decoding, but also further
improves the decoding speed, resulting in an around $5\times$ speedup over AT.
Moreover, SpecDec can be easily generalized for speeding up other seq2seq tasks
like Abstractive Summarization, and benefit more from stronger computing
devices, demonstrating its potential to become a \textit{de facto} decoding
standard in the future for efficient and lossless seq2seq generation. We will
release all our codes and checkpoints to facilitate reproducing our results.
- Abstract(参考訳): 品質を犠牲にして自己回帰翻訳(AT)を高速化する以前の研究とは違って,ATと非自己回帰翻訳(NAT)のそれぞれの利点を組み合わせた,コンピュータアーキテクチャにおける投機的実行にインスパイアされた新しい復号パラダイムであるSpecDec(Speculative Decoding)を提案する。
それぞれのデコードステップにおいて、SpecDecは次に$k$トークンをNATモデルで投機的にドラフトし、それをATモデルで検証し、検証に合格するトークンのみをデコードトークンとして受け入れ、翻訳結果の保証はATと全く同じである。
NATドラフトとAT検証の協力により、投機的復号化によって実現された並列コンピューティングにより、品質損失のない復号速度が大幅に向上する。
我々は、4つの標準wmt翻訳ベンチマークで実験を行い、vanilla specdecが約3\times$のスピードアップでgreedyデコードと全く同じ結果が得られることを確認し、その変種(specdec++)がgreedyデコードよりも優れるだけでなく、デコード速度をさらに向上させ、atで約$5\times$のスピードアップを実現しました。
さらに、SpecDecは抽象的な要約のような他のSeq2seqタスクを高速化し、より強力なコンピューティングデバイスから恩恵を受け、効率よくロスレスなSeq2seq生成のための将来の‘textit{de facto}デコーディング標準になる可能性を示している。
結果の再現を容易にするために、すべてのコードとチェックポイントをリリースします。
関連論文リスト
- SDSAT: Accelerating LLM Inference through Speculative Decoding with Semantic Adaptive Tokens [4.5888031410244885]
意味適応トークン(SDSAT)を用いた投機的復号化による大規模言語モデル(LLM)の高速化手法を提案する。
この設計の主な目的は、LLMモデルの精度を損なうことなく、より正確にドラフトトークンを生成する能力を高めることである。
CodeLlama-13B と 7B で実施された実験では、それぞれ3.5X と 3.0X 以上の速度向上が達成されている。
論文 参考訳(メタデータ) (2024-03-27T14:54:27Z) - Encode Once and Decode in Parallel: Efficient Transformer Decoding [53.550782959908524]
本稿では,エンコーダ・デコーダモデルのための新しい構成を導入し,構造化された出力と質問応答タスクの効率を改善する。
提案手法は,インプットを一度エンコードして並列にデコードすることで,トレーニングと推論の効率を向上する。
論文 参考訳(メタデータ) (2024-03-19T19:27:23Z) - Chimera: A Lossless Decoding Method for Accelerating Large Language Models Inference by Fusing all Tokens [15.566726645722657]
投機的サンプリングに特化して設計された新しいフレームワークを提案する。
このフレームワーク内では、以前に生成されたトークンを効果的に活用し、後続の単語を予測する軽量なドラフトモデルを導入する。
我々は、バニラ自動回帰復号方式と比較して平均遅延速度比が2.7倍になるという印象的な結果を示した。
論文 参考訳(メタデータ) (2024-02-24T08:10:39Z) - Speculative Streaming: Fast LLM Inference without Auxiliary Models [21.454206732725563]
投機的ストリーミング(英: Speculative Streaming)は、単一モデル投機的復号法である。
これは、次のトークン予測から将来のn-gram予測に微調整対象を変更することで、ターゲットモデルにドラフトを融合させる。
1.8から3.1Xのデコーディングを、多様なタスクセットで高速化する。
論文 参考訳(メタデータ) (2024-02-16T23:36:43Z) - GliDe with a CaPE: A Low-Hassle Method to Accelerate Speculative
Decoding [81.01996600734616]
GliDe と CaPE を導入し,バニラ投機復号への2つの低ハードル修正を行った。
GliDeは、ターゲットのLLMからキャッシュされたキーと値を再利用する、修正されたドラフトモデルアーキテクチャである。
コード、データ、トレーニング済みのドラフトモデルをリリースします。
論文 参考訳(メタデータ) (2024-02-03T08:44:11Z) - SpecTr: Fast Speculative Decoding via Optimal Transport [30.18181671899423]
このアルゴリズムはデコーディングの高速化を図り、デコードされた出力に品質劣化がないことを保証します。
提案手法は,最先端の大規模言語モデルに対して,標準的なベンチマーク上での投機的復号化よりもさらに1.37倍の高速化である2.13Xのウォールクロック高速化を実現することを実験的に実証した。
論文 参考訳(メタデータ) (2023-10-23T17:47:34Z) - DistillSpec: Improving Speculative Decoding via Knowledge Distillation [70.61777015900272]
投機的復号(SD)は、複数のトークンを生成するためにより高速なドラフトモデルを使用することで、大きな言語モデル推論を加速する。
本稿では,SDを適用する前に,知識蒸留を用いて,ドラフトモデルとターゲットモデルとの整合性を向上するDistillSpecを提案する。
DistillSpecは標準SDよりも10~45%のスピードアップを実現しています。
論文 参考訳(メタデータ) (2023-10-12T16:21:04Z) - Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。
勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。
我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2022-12-16T11:15:39Z) - Fast Interleaved Bidirectional Sequence Generation [90.58793284654692]
左右方向と左右方向を同時に生成するデコーダを提案する。
一方向デコードのための標準アーキテクチャを簡単に双方向デコーダに変換することができることを示す。
我々のインターリーブ双方向デコーダ (IBDecoder) は標準変換器のモデル単純性と訓練効率を保っている。
論文 参考訳(メタデータ) (2020-10-27T17:38:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。