論文の概要: Enriching Non-Autoregressive Transformer with Syntactic and
SemanticStructures for Neural Machine Translation
- arxiv url: http://arxiv.org/abs/2101.08942v1
- Date: Fri, 22 Jan 2021 04:12:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-20 17:32:34.250407
- Title: Enriching Non-Autoregressive Transformer with Syntactic and
SemanticStructures for Neural Machine Translation
- Title（参考訳）: 神経機械翻訳のための構文および意味構造を用いた非自己回帰トランスフォーマーの強化
- Authors: Ye Liu, Yao Wan, Jian-Guo Zhang, Wenting Zhao, Philip S. Yu
- Abstract要約: 本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。
我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
- 参考スコア（独自算出の注目度）: 54.864148836486166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The non-autoregressive models have boosted the efficiency of neural machine
translation through parallelized decoding at the cost of effectiveness when
comparing with the autoregressive counterparts. In this paper, we claim that
the syntactic and semantic structures among natural language are critical for
non-autoregressive machine translation and can further improve the performance.
However, these structures are rarely considered in the existing
non-autoregressive models. Inspired by this intuition, we propose to
incorporate the explicit syntactic and semantic structures of languages into a
non-autoregressive Transformer, for the task of neural machine translation.
Moreover, we also consider the intermediate latent alignment within target
sentences to better learn the long-term token dependencies. Experimental
results on two real-world datasets (i.e., WMT14 En-De and WMT16 En-Ro) show
that our model achieves a significantly faster speed, as well as keeps the
translation quality when compared with several state-of-the-art
non-autoregressive models.
- Abstract（参考訳）: 非自己回帰モデルにより、自己回帰モデルと比較した場合の有効性を犠牲にして、並列復号による神経機械翻訳の効率が向上した。
本稿では,自然言語間の構文構造と意味構造が非自己回帰機械翻訳に不可欠であり,さらに性能を向上させることができると主張する。
しかし、これらの構造は既存の非自己回帰モデルではめったに考慮されない。
この直観に触発されて、神経機械翻訳のタスクのために、言語の明示的な構文と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。
さらに,長期トークンの依存関係をよりよく学習するために,対象文内の中間潜時アライメントも検討する。
実世界の2つのデータセット(WMT14 En-DeとWMT16 En-Ro)の実験結果から、我々のモデルは、最先端の非自己回帰モデルと比較すると、翻訳品質が著しく向上することが示された。
関連論文リスト
- Structural Biases for Improving Transformers on Translation into
Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。
第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。
これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文 参考訳（メタデータ） (2022-08-11T22:42:24Z) - A Cognitive Study on Semantic Similarity Analysis of Large Corpora: A
Transformer-based Approach [0.0]
我々は,従来の技術とトランスフォーマー技術の両方を用いて,米国特許法とPhrase Matchingデータセットのセマンティック類似性解析とモデリングを行う。
実験の結果,従来の手法と比較して手法の性能が向上し,平均ピアソン相関スコアは0.79。
論文 参考訳（メタデータ） (2022-07-24T11:06:56Z) - Non-Autoregressive Neural Machine Translation: A Call for Clarity [3.1447111126465]
我々は、非自己回帰的翻訳モデルを改善するために提案されたいくつかの手法を再検討する。
我々は,長文予測やCTCに基づくアーキテクチャ変種を用いて,強力なベースラインを確立するための新たな洞察を提供する。
4つの翻訳タスクに対してsareBLEUを用いて,標準化されたBLEU,chrF++,TERスコアをコントリビュートする。
論文 参考訳（メタデータ） (2022-05-21T12:15:22Z) - Modeling Target-Side Morphology in Neural Machine Translation: A
Comparison of Strategies [72.56158036639707]
形態的に豊かな言語は機械翻訳に困難をもたらす。
多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。
いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。
言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
論文 参考訳（メタデータ） (2022-03-25T10:13:20Z) - Transformer Grammars: Augmenting Transformer Language Models with
Syntactic Inductive Biases at Scale [31.293175512404172]
Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。
また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
論文 参考訳（メタデータ） (2022-03-01T17:22:31Z) - GroupBERT: Enhanced Transformer Architecture with Efficient Grouped
Structures [57.46093180685175]
トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。
自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。
得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
論文 参考訳（メタデータ） (2021-06-10T15:41:53Z) - Non-Autoregressive Translation by Learning Target Categorical Codes [59.840510037250944]
本論文では,非回帰型復号法に潜在変数として暗黙的に分類符号を学習するCNATを提案する。
実験の結果,本モデルは機械翻訳タスクにおいて同等あるいは優れた性能が得られることがわかった。
論文 参考訳（メタデータ） (2021-03-21T14:12:34Z) - Infusing Sequential Information into Conditional Masked Translation
Model with Self-Review Mechanism [9.641454891414751]
非自己回帰モデルは、高速な復号速度を実現するが、翻訳精度を犠牲にして、目標語を並列に生成する。
条件付きマスキング翻訳モデルに逐次情報を注入する自己レビュー機構を提案する。
我々のモデルは典型的な左から右へのトランスフォーマーモデルを超え、デコードを大幅に高速化しています。
論文 参考訳（メタデータ） (2020-10-19T03:38:56Z) - On Long-Tailed Phenomena in Neural Machine Translation [50.65273145888896]
最先端のニューラルネットワーク翻訳(NMT)モデルは、低周波トークンの生成に苦労する。
条件付きテキスト生成における構造的依存関係にモデルトレーニングを適応させるために,新たな損失関数である反焦点損失を提案する。
提案手法は,複数の機械翻訳(MT)データセットに対して有効であり,クロスエントロピーよりも顕著に向上することを示す。
論文 参考訳（メタデータ） (2020-10-10T07:00:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。