論文の概要: Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders

• arxiv url: http://arxiv.org/abs/2102.06578v1
• Date: Fri, 12 Feb 2021 15:36:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:10:29.395146
• Title: Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
• Title（参考訳）: 言語固有エンコーダ・デコーダにおけるゼロショットニューラルマシン翻訳の改善
• Authors: Junwei Liao, Yu Shi, Ming Gong, Linjun Shou, Hong Qu, Michael Zeng
• Abstract要約: 近年,共有エンコーダデコーダを用いたユニバーサルニューラルネットワーク翻訳(NMT)は,ゼロショット翻訳において良好な性能を示した。 ユニバーサルNMTとは異なり、共同で訓練された言語固有のエンコーダ・デコーダは、非共有モジュール間で普遍的な表現を目指す。 言語固有エンコーダ・デコーダを用いたゼロショット翻訳について検討する。
• 参考スコア（独自算出の注目度）: 19.44855809470709
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, universal neural machine translation (NMT) with shared encoder-decoder gained good performance on zero-shot translation. Unlike universal NMT, jointly trained language-specific encoders-decoders aim to achieve universal representation across non-shared modules, each of which is for a language or language family. The non-shared architecture has the advantage of mitigating internal language competition, especially when the shared vocabulary and model parameters are restricted in their size. However, the performance of using multiple encoders and decoders on zero-shot translation still lags behind universal NMT. In this work, we study zero-shot translation using language-specific encoders-decoders. We propose to generalize the non-shared architecture and universal NMT by differentiating the Transformer layers between language-specific and interlingua. By selectively sharing parameters and applying cross-attentions, we explore maximizing the representation universality and realizing the best alignment of language-agnostic information. We also introduce a denoising auto-encoding (DAE) objective to jointly train the model with the translation task in a multi-task manner. Experiments on two public multilingual parallel datasets show that our proposed model achieves a competitive or better results than universal NMT and strong pivot baseline. Moreover, we experiment incrementally adding new language to the trained model by only updating the new model parameters. With this little effort, the zero-shot translation between this newly added language and existing languages achieves a comparable result with the model trained jointly from scratch on all languages.
• Abstract（参考訳）: 近年,共有エンコーダデコーダを用いたユニバーサルニューラルネットワーク翻訳(NMT)は,ゼロショット翻訳において良好な性能を示した。 ユニバーサルNMTとは異なり、共同で訓練された言語固有のエンコーダ-デコーダは、非共有モジュール間で普遍的な表現を達成することを目指している。 非共有アーキテクチャは、特に共用語彙とモデルパラメータがサイズに制限されている場合、内部言語競合を緩和する利点がある。 しかし、ゼロショット翻訳における複数エンコーダとデコーダの使用性能は、ユニバーサルNMTより遅れている。 本研究では,言語固有エンコーダ-デコーダを用いたゼロショット翻訳について検討する。 言語固有層とインターリンガル層を区別し,非共有アーキテクチャと汎用NMTの一般化を提案する。 パラメータを選択的に共有し,クロスアテンションを適用することにより,表現の普遍性を最大化し,言語に依存しない情報の最適アライメントを実現する。 また,DAE(Denoising Auto-Encoding)の目標として,翻訳タスクをマルチタスクで共同トレーニングする手法も導入した。 2つの公開多言語並列データセットにおける実験により,提案モデルが汎用nmtおよび強力なpivotベースラインよりも競合的あるいは優れた結果が得られることを示した。 さらに,新たなモデルパラメータを更新すれば,トレーニングモデルに新たな言語を段階的に追加する実験を行った。 この小さな努力で、新たに追加された言語と既存の言語の間のゼロショット翻訳は、すべての言語をゼロからトレーニングしたモデルと同等の結果を得る。

関連論文リスト

• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Is Encoder-Decoder Redundant for Neural Machine Translation? [44.37101354412253]
  encoder-decoderアーキテクチャは現在でも、最先端モデルのデファクトニューラルネットワークアーキテクチャである。 本研究は,バイリンガル翻訳,ターゲット単言語データを用いた翻訳,多言語翻訳の実験である。 この代替アプローチは、ベースラインエンコーダ-デコーダ変換器と同等に動作し、エンコーダ-デコーダアーキテクチャがニューラルマシン翻訳に冗長である可能性を示唆している。
  論文  参考訳（メタデータ） (2022-10-21T08:33:55Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Universal Vector Neural Machine Translation With Effective Attention [0.0]
  本稿では,エンコーダ-デコーダモデルに基づくニューラルネットワーク翻訳の特異モデルを提案する。 我々は、複数の言語を予測できる中立/ユニバーサルモデル表現を導入する。
  論文  参考訳（メタデータ） (2020-06-09T01:13:57Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)
• Multilingual Machine Translation: Closing the Gap between Shared and Language-specific Encoder-Decoders [20.063065730835874]
  最先端の多言語機械翻訳はユニバーサルエンコーダデコーダに依存している。 本稿では,言語固有のエンコーダデコーダに基づく代替手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T15:02:24Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。