論文の概要: Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2101.08942v1
• Date: Fri, 22 Jan 2021 04:12:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 17:32:34.250407
• Title: Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation
• Title（参考訳）: 神経機械翻訳のための構文および意味構造を用いた非自己回帰トランスフォーマーの強化
• Authors: Ye Liu, Yao Wan, Jian-Guo Zhang, Wenting Zhao, Philip S. Yu
• Abstract要約: 本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
• 参考スコア（独自算出の注目度）: 54.864148836486166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The non-autoregressive models have boosted the efficiency of neural machine translation through parallelized decoding at the cost of effectiveness when comparing with the autoregressive counterparts. In this paper, we claim that the syntactic and semantic structures among natural language are critical for non-autoregressive machine translation and can further improve the performance. However, these structures are rarely considered in the existing non-autoregressive models. Inspired by this intuition, we propose to incorporate the explicit syntactic and semantic structures of languages into a non-autoregressive Transformer, for the task of neural machine translation. Moreover, we also consider the intermediate latent alignment within target sentences to better learn the long-term token dependencies. Experimental results on two real-world datasets (i.e., WMT14 En-De and WMT16 En-Ro) show that our model achieves a significantly faster speed, as well as keeps the translation quality when compared with several state-of-the-art non-autoregressive models.
• Abstract（参考訳）: 非自己回帰モデルにより、自己回帰モデルと比較した場合の有効性を犠牲にして、並列復号による神経機械翻訳の効率が向上した。 本稿では,自然言語間の構文構造と意味構造が非自己回帰機械翻訳に不可欠であり,さらに性能を向上させることができると主張する。 しかし、これらの構造は既存の非自己回帰モデルではめったに考慮されない。 この直観に触発されて、神経機械翻訳のタスクのために、言語の明示的な構文と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 さらに,長期トークンの依存関係をよりよく学習するために,対象文内の中間潜時アライメントも検討する。 実世界の2つのデータセット(WMT14 En-DeとWMT16 En-Ro)の実験結果から、我々のモデルは、最先端の非自己回帰モデルと比較すると、翻訳品質が著しく向上することが示された。

関連論文リスト

• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Distributionally Robust Recurrent Decoders with Random Network Distillation [93.10261573696788]
  本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。 提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:26:29Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)
• Modeling Coverage for Non-Autoregressive Neural Machine Translation [9.173385214565451]
  本稿では,トークンレベルのカバレッジ反復改良機構と文レベルのカバレッジ契約により,カバレッジ情報を直接モデル化するための新しいカバレッジNATを提案する。 WMT14 En-De および WMT16 En-Ro 翻訳タスクの実験結果から,本手法はこれらの誤りを軽減し,ベースラインシステムに対して強い改善が達成できることが示された。
  論文  参考訳（メタデータ） (2021-04-24T07:33:23Z)
• Non-autoregressive Transformer-based End-to-end ASR using BERT [13.07939371864781]
  本稿では、BERTに基づく変換器に基づくエンドツーエンド自動音声認識(ASR)モデルを提案する。 AISHELL-1データセットで実施された一連の実験は、競争力または優れた結果を示している。
  論文  参考訳（メタデータ） (2021-04-10T16:22:17Z)
• Non-Autoregressive Translation by Learning Target Categorical Codes [59.840510037250944]
  本論文では,非回帰型復号法に潜在変数として暗黙的に分類符号を学習するCNATを提案する。 実験の結果,本モデルは機械翻訳タスクにおいて同等あるいは優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-03-21T14:12:34Z)
• GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer [119.70961704127157]
  近年,非並列テキストスタイルの転送が研究の関心を集めている。 現在のアプローチでは、元の文の内容やロジックを保存できない。 文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
  論文  参考訳（メタデータ） (2021-02-01T11:08:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。