論文の概要: Non-Autoregressive Machine Translation with Latent Alignments

• arxiv url: http://arxiv.org/abs/2004.07437v3
• Date: Mon, 16 Nov 2020 13:08:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 20:51:38.229845
• Title: Non-Autoregressive Machine Translation with Latent Alignments
• Title（参考訳）: 潜在アライメントを用いた非自己回帰機械翻訳
• Authors: Chitwan Saharia, William Chan, Saurabh Saxena, Mohammad Norouzi
• Abstract要約: 我々は機械翻訳のためにCTCを再検討し、単純なCTCモデルが単段階非自己回帰機械翻訳の最先端を実現することを実証する。 我々は,Imputerモデルを非自己回帰型機械翻訳に適用し,Imputerが4世代のみのステップで自動回帰型トランスフォーマーベースラインの性能に適合できることを実証する。
• 参考スコア（独自算出の注目度）: 41.74541417325826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents two strong methods, CTC and Imputer, for non-autoregressive machine translation that model latent alignments with dynamic programming. We revisit CTC for machine translation and demonstrate that a simple CTC model can achieve state-of-the-art for single-step non-autoregressive machine translation, contrary to what prior work indicates. In addition, we adapt the Imputer model for non-autoregressive machine translation and demonstrate that Imputer with just 4 generation steps can match the performance of an autoregressive Transformer baseline. Our latent alignment models are simpler than many existing non-autoregressive translation baselines; for example, we do not require target length prediction or re-scoring with an autoregressive model. On the competitive WMT'14 En$\rightarrow$De task, our CTC model achieves 25.7 BLEU with a single generation step, while Imputer achieves 27.5 BLEU with 2 generation steps, and 28.0 BLEU with 4 generation steps. This compares favourably to the autoregressive Transformer baseline at 27.8 BLEU.
• Abstract（参考訳）: 本稿では,動的プログラミングによる遅延アライメントをモデル化した非自己回帰型機械翻訳において,CTCとImputerの2つの強力な手法を提案する。 我々は,機械翻訳のCTCを再検討し,単純なCTCモデルにより,従来の作業の指示に反して,単段階非自己回帰機械翻訳の最先端化が達成できることを実証する。 さらに,Imputerモデルを非自己回帰型機械翻訳に適用し,Imputerが4世代のみのステップで自動回帰型トランスフォーマーベースラインの性能に適合できることを実証した。 我々の潜在アライメントモデルは、既存の多くの非自己回帰的翻訳ベースラインよりも単純である。 競合するWMT'14 En$\rightarrow$Deタスクでは、CTCモデルは1世代ステップで25.7BLEUを達成する一方、Imputerは2世代ステップで27.5BLEU、28.0BLEUは4世代ステップで達成する。 これは27.8BLEUの自己回帰トランスフォーマーベースラインとよく比較できる。

関連論文リスト

• Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC [51.34222224728979]
  本稿では,非自己回帰翻訳(NAT)モデルの翻訳品質を向上させるための一連の革新的な技術を紹介する。 我々は,NATモデルを効果的に訓練するために,CTCの損失を抑えたPMLM(Pretrained Multilingual Language Models)を提案する。 自動回帰モデルと比較して16.35倍の速度向上を示した。
  論文  参考訳（メタデータ） (2023-06-10T05:24:29Z)
• Non-Autoregressive Translation by Learning Target Categorical Codes [59.840510037250944]
  本論文では,非回帰型復号法に潜在変数として暗黙的に分類符号を学習するCNATを提案する。 実験の結果,本モデルは機械翻訳タスクにおいて同等あるいは優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-03-21T14:12:34Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• Infusing Sequential Information into Conditional Masked Translation Model with Self-Review Mechanism [9.641454891414751]
  非自己回帰モデルは、高速な復号速度を実現するが、翻訳精度を犠牲にして、目標語を並列に生成する。 条件付きマスキング翻訳モデルに逐次情報を注入する自己レビュー機構を提案する。 我々のモデルは典型的な左から右へのトランスフォーマーモデルを超え、デコードを大幅に高速化しています。
  論文  参考訳（メタデータ） (2020-10-19T03:38:56Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)
• ENGINE: Energy-Based Inference Networks for Non-Autoregressive Machine Translation [56.59824570139266]
  我々は、非自己回帰機械翻訳モデルを訓練し、前回帰モデルで定義されるエネルギーを最小限に抑える。 我々のアプローチは、IT 2014 DE-ENとWMT 2016 RO-WSLENデータセットの最先端の非自己回帰結果を達成する。
  論文  参考訳（メタデータ） (2020-05-02T15:06:47Z)
• Attention Is All You Need [36.87735219227719]
  本稿では,アテンション機構のみに基づく新しいシンプルなネットワークアーキテクチャであるTransformerを提案する。 2つの機械翻訳タスクの実験は、これらのモデルの品質が優れていることを示している。
  論文  参考訳（メタデータ） (2017-06-12T17:57:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。