Fugu-MT 論文翻訳(概要): Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation

論文の概要: Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation

arxiv url: http://arxiv.org/abs/2101.08942v1
Date: Fri, 22 Jan 2021 04:12:17 GMT
ステータス: 処理完了
システム内更新日: 2021-03-20 17:32:34.250407
Title: Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation
Title（参考訳）: 神経機械翻訳のための構文および意味構造を用いた非自己回帰トランスフォーマーの強化
Authors: Ye Liu, Yao Wan, Jian-Guo Zhang, Wenting Zhao, Philip S. Yu
Abstract要約: 本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
参考スコア（独自算出の注目度）: 54.864148836486166
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The non-autoregressive models have boosted the efficiency of neural machine translation through parallelized decoding at the cost of effectiveness when comparing with the autoregressive counterparts. In this paper, we claim that the syntactic and semantic structures among natural language are critical for non-autoregressive machine translation and can further improve the performance. However, these structures are rarely considered in the existing non-autoregressive models. Inspired by this intuition, we propose to incorporate the explicit syntactic and semantic structures of languages into a non-autoregressive Transformer, for the task of neural machine translation. Moreover, we also consider the intermediate latent alignment within target sentences to better learn the long-term token dependencies. Experimental results on two real-world datasets (i.e., WMT14 En-De and WMT16 En-Ro) show that our model achieves a significantly faster speed, as well as keeps the translation quality when compared with several state-of-the-art non-autoregressive models.
Abstract（参考訳）: 非自己回帰モデルにより、自己回帰モデルと比較した場合の有効性を犠牲にして、並列復号による神経機械翻訳の効率が向上した。本稿では,自然言語間の構文構造と意味構造が非自己回帰機械翻訳に不可欠であり,さらに性能を向上させることができると主張する。しかし、これらの構造は既存の非自己回帰モデルではめったに考慮されない。この直観に触発されて、神経機械翻訳のタスクのために、言語の明示的な構文と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。さらに,長期トークンの依存関係をよりよく学習するために,対象文内の中間潜時アライメントも検討する。実世界の2つのデータセット(WMT14 En-DeとWMT16 En-Ro)の実験結果から、我々のモデルは、最先端の非自己回帰モデルと比較すると、翻訳品質が著しく向上することが示された。