論文の概要: ENGINE: Energy-Based Inference Networks for Non-Autoregressive Machine Translation

• arxiv url: http://arxiv.org/abs/2005.00850v2
• Date: Tue, 12 May 2020 20:44:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 11:48:39.877812
• Title: ENGINE: Energy-Based Inference Networks for Non-Autoregressive Machine Translation
• Title（参考訳）: ENGINE:非自律機械翻訳のためのエネルギーベース推論ネットワーク
• Authors: Lifu Tu, Richard Yuanzhe Pang, Sam Wiseman, Kevin Gimpel
• Abstract要約: 我々は、非自己回帰機械翻訳モデルを訓練し、前回帰モデルで定義されるエネルギーを最小限に抑える。 我々のアプローチは、IT 2014 DE-ENとWMT 2016 RO-WSLENデータセットの最先端の非自己回帰結果を達成する。
• 参考スコア（独自算出の注目度）: 56.59824570139266
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose to train a non-autoregressive machine translation model to minimize the energy defined by a pretrained autoregressive model. In particular, we view our non-autoregressive translation system as an inference network (Tu and Gimpel, 2018) trained to minimize the autoregressive teacher energy. This contrasts with the popular approach of training a non-autoregressive model on a distilled corpus consisting of the beam-searched outputs of such a teacher model. Our approach, which we call ENGINE (ENerGy-based Inference NEtworks), achieves state-of-the-art non-autoregressive results on the IWSLT 2014 DE-EN and WMT 2016 RO-EN datasets, approaching the performance of autoregressive models.
• Abstract（参考訳）: 我々は,事前学習された自己回帰モデルによって定義されるエネルギーを最小限に抑えるために,非自己回帰機械翻訳モデルを訓練することを提案する。 特に、我々の非自己回帰的翻訳システムは、自己回帰的教師のエネルギーを最小限に抑えるために訓練された推論ネットワーク(Tu and Gimpel, 2018)と見なしている。 これは、教師モデルのビーム検索出力からなる蒸留コーパス上で非自己回帰モデルを訓練するという一般的なアプローチとは対照的である。 我々のアプローチはENGINE(ENerGy-based Inference NEtworks)と呼ばれ、IWSLT 2014 DE-ENとWMT 2016 RO-ENデータセットで最先端の非自己回帰結果を実現し、自己回帰モデルの性能にアプローチする。

関連論文リスト

• Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC [51.34222224728979]
  本稿では,非自己回帰翻訳(NAT)モデルの翻訳品質を向上させるための一連の革新的な技術を紹介する。 我々は,NATモデルを効果的に訓練するために,CTCの損失を抑えたPMLM(Pretrained Multilingual Language Models)を提案する。 自動回帰モデルと比較して16.35倍の速度向上を示した。
  論文  参考訳（メタデータ） (2023-06-10T05:24:29Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• A Spectral Energy Distance for Parallel Speech Synthesis [29.14723501889278]
  音声合成は重要な実用的生成モデル問題である。 そこで本研究では,高度に並列な音声モデルの学習を可能にする学習手法を提案する。
  論文  参考訳（メタデータ） (2020-08-03T19:56:04Z)
• Aligned Cross Entropy for Non-Autoregressive Machine Translation [120.15069387374717]
  非自己回帰モデルの学習における代替的損失関数としてアライメントクロスエントロピー(AXE)を提案する。 AXEに基づく条件付きマスキング言語モデル(CMLM)のトレーニングは、主要なWMTベンチマークの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-04-03T16:24:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。