論文の概要: Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation

• arxiv url: http://arxiv.org/abs/2209.02821v1
• Date: Tue, 6 Sep 2022 21:20:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-08 12:26:31.377616
• Title: Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation
• Title（参考訳）: 多言語ファインタニングとバックトランスレーションによる多言語双方向教師なし翻訳
• Authors: Bryan Li, Ajay Patel, Chris Callison-Burch, Mohammad Sadegh Rasooli
• Abstract要約: そこで本研究では,NMTモデルを用いて,未知の言語を英語と英語の両方に翻訳する2段階学習手法を提案する。 最初の段階では、事前訓練されたXLM-RおよびRoBERTa重みに対してエンコーダデコーダモデルを初期化し、25言語で並列データに対して多言語微調整を行う。 第2段階では、この一般化機能を活用して、単言語データセットから合成並列データを生成し、その後、連続した後方翻訳のラウンドで訓練する。 最終モデルはイングリッシュ・トゥ・マニーの方向まで延長され、多くのイングリッシュ・トゥ・イングリッシュのパフォーマンスを維持している。
• 参考スコア（独自算出の注目度）: 23.401781865904386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a two-stage training approach for developing a single NMT model to translate unseen languages both to and from English. For the first stage, we initialize an encoder-decoder model to pretrained XLM-R and RoBERTa weights, then perform multilingual fine-tuning on parallel data in 25 languages to English. We find this model can generalize to zero-shot translations on unseen languages. For the second stage, we leverage this generalization ability to generate synthetic parallel data from monolingual datasets, then train with successive rounds of back-translation. The final model extends to the English-to-Many direction, while retaining Many-to-English performance. We term our approach EcXTra (English-centric Crosslingual (X) Transfer). Our approach sequentially leverages auxiliary parallel data and monolingual data, and is conceptually simple, only using a standard cross-entropy objective in both stages. The final EcXTra model is evaluated on unsupervised NMT on 8 low-resource languages achieving a new state-of-the-art for English-to-Kazakh (22.3 > 10.4 BLEU), and competitive performance for the other 15 translation directions.
• Abstract（参考訳）: そこで本研究では,未熟な言語を英語と英語の両方に翻訳する単一のnmtモデルを開発するための2段階学習手法を提案する。 最初の段階では、事前訓練されたXLM-RおよびRoBERTa重みに対してエンコーダデコーダモデルを初期化し、25言語で並列データに対して多言語微調整を行う。 このモデルは、未熟な言語のゼロショット翻訳に一般化できる。 第2段階では、この一般化機能を活用して、モノリンガルデータセットから合成並列データを生成し、その後、一連のバックトランスレーションでトレーニングします。 最終的なモデルは、多対多の演奏を維持しながら、英語から英語への方向まで伸びている。 EcXTra(英語中心のクロスリンガル(X)トランスファー)と呼ぶ。 本手法は補助並列データと単言語データを順次活用し,概念的には単純であり,両段階において標準クロスエントロピー目的のみを用いる。 最終的なEcXTraモデルは、8つの低リソース言語上の教師なしNMTで評価され、英語とカザフ語(22.3 > 10.4 BLEU)の新たな最先端を実現し、他の15の翻訳方向の競合性能が評価される。

関連論文リスト

• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation [74.158365847236]
  SixT++は、100のソース言語をサポートする強力な多言語NMTモデルであるが、たった6つのソース言語からの並列データセットで一度トレーニングされている。 CRISSとm2m-100は、それぞれ7.2と5.0BLEUの2つの強い多言語NMTシステムより大幅に優れていた。
  論文  参考訳（メタデータ） (2021-10-16T10:59:39Z)
• Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
  我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。 具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。 実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T07:58:33Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Complete Multilingual Neural Machine Translation [44.98358050355681]
  本稿では、英語中心の並列コーパスを充実させるために、多方向整列例を用いて検討する。 このような接続パターンでMNMTを完全多言語ニューラルネットワーク翻訳(cMNMT)と呼ぶ。 対象言語のみに条件付けされた新たなトレーニングデータサンプリング戦略と組み合わせて、cMNMTは全ての言語ペアに対して競合翻訳品質を得る。
  論文  参考訳（メタデータ） (2020-10-20T13:03:48Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。