論文の概要: Hybrid-Regressive Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2210.10416v1
- Date: Wed, 19 Oct 2022 09:26:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 14:10:20.091853
- Title: Hybrid-Regressive Neural Machine Translation
- Title（参考訳）: ハイブリッド回帰型ニューラルマシン翻訳
- Authors: Qiang Wang, Xinhui Hu, Ming Chen
- Abstract要約: 自己回帰的・非自己回帰的翻訳パラダイムの長所をうまく組み合わせる方法について検討する。
ハイブリッド回帰翻訳(HRT)と呼ばれる新しい2段階翻訳プロトタイプを提案する。
HRTは、WMT En-Deタスクで最先端のBLEUスコア28.49を達成し、バッチサイズやデバイスに関わらず、ATよりも少なくとも1.5倍高速である。
- 参考スコア（独自算出の注目度）: 11.634586560239404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we empirically confirm that non-autoregressive translation with
an iterative refinement mechanism (IR-NAT) suffers from poor acceleration
robustness because it is more sensitive to decoding batch size and computing
device setting than autoregressive translation (AT). Inspired by it, we attempt
to investigate how to combine the strengths of autoregressive and
non-autoregressive translation paradigms better. To this end, we demonstrate
through synthetic experiments that prompting a small number of AT's predictions
can promote one-shot non-autoregressive translation to achieve the equivalent
performance of IR-NAT. Following this line, we propose a new two-stage
translation prototype called hybrid-regressive translation (HRT). Specifically,
HRT first generates discontinuous sequences via autoregression (e.g., make a
prediction every k tokens, k>1) and then fills in all previously skipped tokens
at once in a non-autoregressive manner. We also propose a bag of techniques to
effectively and efficiently train HRT without adding any model parameters. HRT
achieves the state-of-the-art BLEU score of 28.49 on the WMT En-De task and is
at least 1.5x faster than AT, regardless of batch size and device. In addition,
another bonus of HRT is that it successfully inherits the good characteristics
of AT in the deep-encoder-shallow-decoder architecture. Concretely, compared to
the vanilla HRT with a 6-layer encoder and 6-layer decoder, the inference speed
of HRT with a 12-layer encoder and 1-layer decoder is further doubled on both
GPU and CPU without BLEU loss.
- Abstract（参考訳）: 本研究では,自動回帰翻訳(AT)よりもバッチサイズや計算装置設定の復号化に敏感なため,繰り返し精細化機構(IR-NAT)による非自己回帰翻訳が加速性に乏しいことを実証的に確認する。
これに触発されて,自己回帰的および非自己回帰的翻訳パラダイムの強みをよりよく結合する方法について検討する。
そこで本研究では,少数のAT予測が単発非自己回帰翻訳を促進させ,IR-NATの同等性能を実現するための合成実験を行った。
そこで我々は,Hybrid-Regressive Translation (HRT)と呼ばれる2段階の翻訳プロトタイプを提案する。
具体的には、HRTはまず自己回帰(例えば、すべてのkトークン、k>1)を介して不連続なシーケンスを生成し、その後、非自己回帰的な方法で一度にスキップされたすべてのトークンを埋める。
また,モデルパラメータを追加せずにHRTを効果的かつ効率的に訓練する手法の袋を提案する。
HRTはWMT En-Deタスクで最先端のBLEUスコア28.49を達成し、バッチサイズやデバイスに関わらずATよりも1.5倍高速である。
さらにHRTのもうひとつのメリットは、ディープエンコーダ-シャローデコーダアーキテクチャにおけるATの優れた特性を継承することに成功したことだ。
具体的には、6層エンコーダと6層デコーダを備えたバニラHRTと比較して、12層エンコーダと1層デコーダによるHRTの推論速度は、BLEU損失のないGPUとCPUの両方でさらに倍増する。
関連論文リスト
- Three-in-One: Fast and Accurate Transducer for Hybrid-Autoregressive ASR [17.950722198543897]
音声認識のための新しいアーキテクチャであるtextbfHybrid-textbfAutoregressive textbfINference TrtextbfANsducers (HAINAN) を提案する。
HAINANは、すべてのネットワークコンポーネントによる自己回帰推論と、予測子を使わずに非自己回帰推論の両方をサポートする。
論文 参考訳（メタデータ） (2024-10-03T15:38:20Z) - CTC-based Non-autoregressive Speech Translation [51.37920141751813]
非自己回帰音声翻訳における接続性時間分類の可能性について検討する。
我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。
MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
論文 参考訳（メタデータ） (2023-05-27T03:54:09Z) - The RoyalFlush System for the WMT 2022 Efficiency Task [11.00644143928471]
本稿では、WMT 2022翻訳効率タスクに対するRoyal Neural Machine Translation Systemの提出について述べる。
一般的に使われている自己回帰翻訳システムとは異なり、我々はハイブリッド回帰翻訳と呼ばれる2段階の翻訳パラダイムを採用した。
われわれの最速のシステムはGPUレイテンシ設定で6k+ワード/秒に達し、昨年の勝者より約3.1倍速いと見積もられている。
論文 参考訳（メタデータ） (2022-12-03T05:36:10Z) - Paraformer: Fast and Accurate Parallel Transformer for
Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。
出力トークンの数を正確に予測し、隠れた変数を抽出する。
10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
論文 参考訳（メタデータ） (2022-06-16T17:24:14Z) - Non-Autoregressive Neural Machine Translation: A Call for Clarity [3.1447111126465]
我々は、非自己回帰的翻訳モデルを改善するために提案されたいくつかの手法を再検討する。
我々は,長文予測やCTCに基づくアーキテクチャ変種を用いて,強力なベースラインを確立するための新たな洞察を提供する。
4つの翻訳タスクに対してsareBLEUを用いて,標準化されたBLEU,chrF++,TERスコアをコントリビュートする。
論文 参考訳（メタデータ） (2022-05-21T12:15:22Z) - Non-Autoregressive Translation with Layer-Wise Prediction and Deep
Supervision [33.04082398101807]
Transformerのような既存のニューラルネットワーク翻訳モデルは高い性能を達成するが、単語を1つずつデコードする。
最近の非自己回帰翻訳モデルは推論を高速化するが、その品質は依然として劣っている。
機械翻訳のための高効率かつ高性能なモデルDSLPを提案する。
論文 参考訳（メタデータ） (2021-10-14T16:36:12Z) - Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input [54.82369261350497]
CTCモジュールの予測を精算することでターゲットシーケンスを生成するCTC拡張NARトランスを提案する。
実験結果から,Aishell-1およびAishell-2データセットでは,Aishell-1およびAishell-2データセットの絶対CER劣化が0。
論文 参考訳（メタデータ） (2020-10-28T15:00:09Z) - Iterative Refinement in the Continuous Space for Non-Autoregressive
Neural Machine Translation [68.25872110275542]
非自己回帰型機械翻訳のための効率的な推論手法を提案する。
反復的に連続空間で純粋に翻訳を洗練させる。
We evaluate our approach on WMT'14 En-De, WMT'16 Ro-En and IWSLT'16 De-En。
論文 参考訳（メタデータ） (2020-09-15T15:30:14Z) - Glancing Transformer for Non-Autoregressive Neural Machine Translation [58.87258329683682]
単一パス並列生成モデルにおける単語相互依存の学習法を提案する。
単一パスの並列デコードだけで、GLATは8～15倍のスピードアップで高品質な翻訳を生成することができる。
論文 参考訳（メタデータ） (2020-08-18T13:04:03Z) - Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine
Translation [78.51887060865273]
単層自己回帰デコーダは、推論速度に匹敵する強い非自己回帰モデルよりも大幅に優れていることを示す。
本研究は,高速かつ高精度な機械翻訳研究のための新しいプロトコルを構築した。
論文 参考訳（メタデータ） (2020-06-18T09:06:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。