論文の概要: Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding

• arxiv url: http://arxiv.org/abs/2106.04970v1
• Date: Wed, 9 Jun 2021 10:30:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 01:03:28.387511
• Title: Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding
• Title（参考訳）: 弱攻撃的復号による瞬時文法誤り訂正
• Authors: Xin Sun, Tao Ge, Furu Wei, Houfeng Wang
• Abstract要約: 即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。 SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。 英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
• 参考スコア（独自算出の注目度）: 57.08875260900373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose Shallow Aggressive Decoding (SAD) to improve the online inference efficiency of the Transformer for instantaneous Grammatical Error Correction (GEC). SAD optimizes the online inference efficiency for GEC by two innovations: 1) it aggressively decodes as many tokens as possible in parallel instead of always decoding only one token in each step to improve computational parallelism; 2) it uses a shallow decoder instead of the conventional Transformer architecture with balanced encoder-decoder depth to reduce the computational cost during inference. Experiments in both English and Chinese GEC benchmarks show that aggressive decoding could yield the same predictions as greedy decoding but with a significant speedup for online inference. Its combination with the shallow decoder could offer an even higher online inference speedup over the powerful Transformer baseline without quality loss. Not only does our approach allow a single model to achieve the state-of-the-art results in English GEC benchmarks: 66.4 F0.5 in the CoNLL-14 and 72.9 F0.5 in the BEA-19 test set with an almost 10x online inference speedup over the Transformer-big model, but also it is easily adapted to other languages. Our code is available at https://github.com/AutoTemp/Shallow-Aggressive-Decoding.
• Abstract（参考訳）: 本稿では,Shallow Aggressive Decoding (SAD) を提案し,即時文法誤り訂正(GEC)のための変換器のオンライン推論効率を向上させる。 SADは、GECのオンライン推論効率を2つの革新によって最適化する: 1) 計算並列性を改善するために、各ステップで常に1つのトークンだけをデコードするのではなく、できるだけ多くのトークンを並列にデコードする; 2) 推論中に計算コストを削減するために、バランスの取れたエンコーダ・デコーダの深さを持つ従来のトランスフォーマーアーキテクチャの代わりに浅いデコーダを使用する。 英語と中国語のgecベンチマークでの実験では、攻撃的なデコーディングは欲深いデコードと同じ予測をもたらすが、オンライン推論の大幅なスピードアップをもたらすことが示されている。 浅いデコーダと組み合わせることで、品質を損なうことなく、強力なトランスフォーマーベースラインよりも高いオンライン推論速度が得られる。 conll-14では66.4 f0.5、bea-19では72.9 f0.5、transformer-bigモデルでは約10倍のオンライン推論速度を持つが、他の言語にも容易に適用できる。 私たちのコードはhttps://github.com/AutoTemp/Shallow-Aggressive-Decodingで利用可能です。

関連論文リスト

• Cerberus: Efficient Inference with Adaptive Parallel Decoding and Sequential Knowledge Enhancement [12.40683763019276]
  大規模言語モデル(LLM)は自動回帰復号化に依存するため、推論速度のボトルネックに直面していることが多い。 既存の並列デコーディングフレームワークにおける2つの重要な問題を特定しました。 我々は適応並列デコーディングフレームワークであるCerberusを提案する。
  論文  参考訳（メタデータ） (2024-10-17T08:55:18Z)
• Accelerating Transformer Inference for Translation via Parallel Decoding [2.89306442817912]
  自動回帰復号化は機械翻訳(MT)における変圧器の効率を制限する 並列デコーディングアルゴリズムを3つ提示し、異なる言語やモデルでテストする。
  論文  参考訳（メタデータ） (2023-05-17T17:57:34Z)
• Fast and parallel decoding for transducer [25.510837666148024]
  本研究では,トランスデューサ損失の制約付きバージョンを導入し,シーケンス間のモノトニックアライメントを厳密に学習する。 また、時間毎に出力できるシンボルの数を制限することで、標準の欲求探索とビーム探索アルゴリズムを改善した。
  論文  参考訳（メタデータ） (2022-10-31T07:46:10Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Lossless Acceleration for Seq2seq Generation with Aggressive Decoding [74.12096349944497]
  アグレッシブデコーディング(Aggressive Decoding)は、セq2seq生成のための新しいデコーディングアルゴリズムである。 提案手法は, 自己回帰復号法と比較し, 同一(あるいは良好な)生成を実現することを目的としている。 複数のSeq2seqタスクにおいて、GPU上で最も人気のある6層トランスフォーマーモデル上で、攻撃的デコーディングをテストする。
  論文  参考訳（メタデータ） (2022-05-20T17:59:00Z)
• Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates [59.678108707409606]
  我々は、接続性時間分類(CTC)出力に基づいて非自己回帰デコードによりHIを生成する高速MDモデルであるFast-MDを提案し、続いてASRデコーダを提案する。 高速MDは、GPUとCPUの「単純なMDモデル」よりも2倍、4倍高速なデコード速度を実現した。
  論文  参考訳（メタデータ） (2021-09-27T05:21:30Z)
• Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input [54.82369261350497]
  CTCモジュールの予測を精算することでターゲットシーケンスを生成するCTC拡張NARトランスを提案する。 実験結果から,Aishell-1およびAishell-2データセットでは,Aishell-1およびAishell-2データセットの絶対CER劣化が0。
  論文  参考訳（メタデータ） (2020-10-28T15:00:09Z)
• Glancing Transformer for Non-Autoregressive Neural Machine Translation [58.87258329683682]
  単一パス並列生成モデルにおける単語相互依存の学習法を提案する。 単一パスの並列デコードだけで、GLATは8～15倍のスピードアップで高品質な翻訳を生成することができる。
  論文  参考訳（メタデータ） (2020-08-18T13:04:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。