論文の概要: Lossless Acceleration for Seq2seq Generation with Aggressive Decoding
- arxiv url: http://arxiv.org/abs/2205.10350v1
- Date: Fri, 20 May 2022 17:59:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 14:21:36.640044
- Title: Lossless Acceleration for Seq2seq Generation with Aggressive Decoding
- Title（参考訳）: 攻撃的復号化によるseq2seq生成のロスレス高速化
- Authors: Tao Ge, Heming Xia, Xin Sun, Si-Qing Chen, Furu Wei
- Abstract要約: アグレッシブデコーディング(Aggressive Decoding)は、セq2seq生成のための新しいデコーディングアルゴリズムである。
提案手法は, 自己回帰復号法と比較し, 同一(あるいは良好な)生成を実現することを目的としている。
複数のSeq2seqタスクにおいて、GPU上で最も人気のある6層トランスフォーマーモデル上で、攻撃的デコーディングをテストする。
- 参考スコア（独自算出の注目度）: 74.12096349944497
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study lossless acceleration for seq2seq generation with a novel decoding
algorithm -- Aggressive Decoding. Unlike the previous efforts (e.g.,
non-autoregressive decoding) speeding up seq2seq generation at the cost of
quality loss, our approach aims to yield the identical (or better) generation
compared with autoregressive decoding but in a significant speedup, achieved by
innovative cooperation of aggressive decoding and verification that are both
efficient due to parallel computing.
We propose two Aggressive Decoding paradigms for 2 kinds of seq2seq tasks: 1)
For the seq2seq tasks whose inputs and outputs are highly similar (e.g.,
Grammatical Error Correction), we propose Input-guided Aggressive Decoding
(IAD) that aggressively copies from the input sentence as drafted decoded
tokens to verify in parallel; 2) For other general seq2seq tasks (e.g., Machine
Translation), we propose Generalized Aggressive Decoding (GAD) that first
employs an additional non-autoregressive decoding model for aggressive decoding
and then verifies in parallel in the autoregressive manner.
We test Aggressive Decoding on the most popular 6-layer Transformer model on
GPU in multiple seq2seq tasks: 1) For IAD, we show that it can introduce a
7x-9x speedup for the Transformer in Grammatical Error Correction and Text
Simplification tasks with the identical results as greedy decoding; 2) For GAD,
we observe a 3x-5x speedup with the identical or even better quality in two
important seq2seq tasks: Machine Translation and Abstractive Summarization.
Moreover, Aggressive Decoding can benefit even more from stronger computing
devices that are better at parallel computing. Given the lossless quality as
well as significant and promising speedup, we believe Aggressive Decoding may
potentially evolve into a de facto standard for efficient and lossless seq2seq
generation in the near future.
- Abstract（参考訳）: 我々は,新しい復号アルゴリズム -- 攻撃的復号法を用いて,seq2seq生成のためのロスレス高速化について検討する。
従来の取り組み(例えば、非自己回帰復号化)が品質損失のコストでSeq2seq生成を高速化するのと異なり、我々のアプローチは、自己回帰復号化と比較して同一(またはより良い)生成を達成することを目的としているが、並列計算による攻撃的復号化と検証の革新的協力によって実現された顕著な高速化である。
2種類のseq2seqタスクに対する攻撃的デコーディングパラダイムを提案する。
1) 入力と出力が極めて類似したセク2seqタスク(文法的誤り訂正など)に対して,入力文から積極的に復号化トークンとしてコピーして並列に検証する入力誘導攻撃復号(IAD)を提案する。
2)他の一般的なseq2seqタスク(例えば機械翻訳)では、最初に攻撃的デコーディングのために非自己回帰デコーディングモデルを追加し、それから自己回帰的な方法で並列に検証する汎用的アグレッシブデコーディング(gad)を提案する。
複数のSeq2seqタスクにおいて、GPU上で最も人気のある6層トランスフォーマーモデル上で、攻撃的デコーディングをテストする。
1) IADでは,文法的誤り訂正およびテキスト簡略化作業において,変換器の7x-9xの高速化を実現することができることを示す。
2) GADでは,機械翻訳と抽象要約という2つの重要なSeq2seqタスクにおいて,同一あるいはより優れた品質で3x-5xの高速化を観察する。
さらに、Aggressive Decodingは、並列コンピューティングに優れた強力なコンピューティングデバイスからさらに恩恵を受けることができる。
損失のない品質と有望なスピードアップを考えると、Aggressive Decodingは近い将来、効率的で損失のないSeq2seq生成のためのデファクトスタンダードへと進化する可能性があると信じています。
関連論文リスト
- Cerberus: Efficient Inference with Adaptive Parallel Decoding and Sequential Knowledge Enhancement [12.40683763019276]
大規模言語モデル(LLM)は自動回帰復号化に依存するため、推論速度のボトルネックに直面していることが多い。
既存の並列デコーディングフレームワークにおける2つの重要な問題を特定しました。
我々は適応並列デコーディングフレームワークであるCerberusを提案する。
論文 参考訳（メタデータ） (2024-10-17T08:55:18Z) - Towards Accurate Image Coding: Improved Autoregressive Image Generation
with Dynamic Vector Quantization [73.52943587514386]
既存のベクトル量子化(VQ)ベースの自己回帰モデルは、2段階生成パラダイムに従う。
画像領域を可変長符号に符号化する動的量子化VAE(DQ-VAE)を提案する。
論文 参考訳（メタデータ） (2023-05-19T14:56:05Z) - Accelerating Transformer Inference for Translation via Parallel Decoding [2.89306442817912]
自動回帰復号化は機械翻訳(MT)における変圧器の効率を制限する
並列デコーディングアルゴリズムを3つ提示し、異なる言語やモデルでテストする。
論文 参考訳（メタデータ） (2023-05-17T17:57:34Z) - NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual
Question Answering [52.10214317661547]
現在の数値推論法はプログラムシーケンスを自己回帰的にデコードする。
プログラム生成の精度は、デコードステップがエラー伝搬によって展開されるにつれて急激に低下する。
本稿では,非自己回帰型プログラム生成フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-07T11:25:21Z) - Trans-Encoder: Unsupervised sentence-pair modelling through self- and
mutual-distillations [22.40667024030858]
バイエンコーダは固定次元の文表現を生成し、計算効率が良い。
クロスエンコーダは、アテンションヘッドを利用して、より優れたパフォーマンスのために文間相互作用を利用することができる。
Trans-Encoderは、2つの学習パラダイムを反復的なジョイントフレームワークに統合し、拡張されたバイ・エンコーダとクロス・エンコーダを同時に学習する。
論文 参考訳（メタデータ） (2021-09-27T14:06:47Z) - Instantaneous Grammatical Error Correction with Shallow Aggressive
Decoding [57.08875260900373]
即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。
SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。
英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
論文 参考訳（メタデータ） (2021-06-09T10:30:59Z) - Fast Interleaved Bidirectional Sequence Generation [90.58793284654692]
左右方向と左右方向を同時に生成するデコーダを提案する。
一方向デコードのための標準アーキテクチャを簡単に双方向デコーダに変換することができることを示す。
我々のインターリーブ双方向デコーダ (IBDecoder) は標準変換器のモデル単純性と訓練効率を保っている。
論文 参考訳（メタデータ） (2020-10-27T17:38:51Z) - Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine
Translation [78.51887060865273]
単層自己回帰デコーダは、推論速度に匹敵する強い非自己回帰モデルよりも大幅に優れていることを示す。
本研究は,高速かつ高精度な機械翻訳研究のための新しいプロトコルを構築した。
論文 参考訳（メタデータ） (2020-06-18T09:06:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。