論文の概要: Multilingual Translation via Grafting Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2109.05256v1
• Date: Sat, 11 Sep 2021 10:57:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 15:50:07.211598
• Title: Multilingual Translation via Grafting Pre-trained Language Models
• Title（参考訳）: 事前学習言語モデルによる多言語翻訳
• Authors: Zewei Sun, Mingxuan Wang and Lei Li
• Abstract要約: 本稿では,機械翻訳のための事前学習言語モデルを個別に移植するGraformerを提案する。 事前学習のための単言語データと移植訓練のための並列データを用いて,両タイプのデータの利用を最大限に活用する。
• 参考スコア（独自算出の注目度）: 12.787188625198459
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can pre-trained BERT for one language and GPT for another be glued together to translate texts? Self-supervised training using only monolingual data has led to the success of pre-trained (masked) language models in many NLP tasks. However, directly connecting BERT as an encoder and GPT as a decoder can be challenging in machine translation, for GPT-like models lack a cross-attention component that is needed in seq2seq decoders. In this paper, we propose Graformer to graft separately pre-trained (masked) language models for machine translation. With monolingual data for pre-training and parallel data for grafting training, we maximally take advantage of the usage of both types of data. Experiments on 60 directions show that our method achieves average improvements of 5.8 BLEU in x2en and 2.9 BLEU in en2x directions comparing with the multilingual Transformer of the same size.
• Abstract（参考訳）: ある言語のBERTと別の言語のGPTを併用してテキストを翻訳できるのか? モノリンガルデータのみを用いた自己教師型トレーニングは、多くのNLPタスクにおいて事前訓練された言語モデルの成功につながっている。 しかし、BERTをエンコーダとして直接接続し、GPTをデコーダとしてGPTをデコーダとして接続することは、機械翻訳において困難である。 本稿では,機械翻訳のための事前学習言語モデルを個別に移植するためのGraformerを提案する。 事前学習のための単言語データと移植訓練のための並列データを用いて,両タイプのデータの利用を最大限に活用する。 60方向の実験では,同じ大きさの多言語変換器と比較して,x2enでは5.8BLEU,en2xでは2.9BLEUの平均的な改善が得られた。

関連論文リスト

• Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation [23.401781865904386]
  本研究では,NMTモデルをトレーニングし,未知の言語を英語と英語の両方に翻訳する2段階のアプローチを提案する。 最初の段階では、事前訓練されたXLM-RおよびRoBERTa重みにエンコーダデコーダモデルを初期化し、40言語で並列データに対して多言語微調整を行う。 第2段階では、この一般化機能を活用して、単言語データセットから合成並列データを生成し、その後、連続した後方翻訳ラウンドで双方向に訓練する。
  論文  参考訳（メタデータ） (2022-09-06T21:20:41Z)
• Exploring Text-to-Text Transformers for English to Hinglish Machine Translation with Synthetic Code-Mixing [19.19256927651015]
  モノリンガル英語のテキストをHinglish(コード混合ヒンディー語と英語)に変換するモデルを記述する。 事前訓練された言語モデルの最近の成功を踏まえ、トランスフォーマーベースのエンコーダデコーダモデルの実用性についても検証する。 私たちのモデルは、英語と英語の公式共有タスクの全体的なランキングで第一位です。
  論文  参考訳（メタデータ） (2021-05-18T19:50:25Z)
• Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders [74.89326277221072]
  多言語プリトレーニング済みエンコーダによるNMTモデルのクロスリンガル転送を改善する方法は、未検討です。 このタスクのシンプルで効果的なモデルであるSixTを提案します。 私達のモデルはCRISSおよびm2m-100より多くの英語テストセットでよりよい性能を達成します。
  論文  参考訳（メタデータ） (2021-04-18T07:42:45Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)
• Recipes for Adapting Pre-trained Monolingual and Multilingual Models to Machine Translation [50.0258495437314]
  機械翻訳(MT)における事前学習モデルの微調整において、凍結パラメータの利点と欠点と新しいパラメータの追加について検討する。 BARTでは、モデルパラメータの大部分を凍結し、追加の位置埋め込みを追加することで、最高のパフォーマンスを得ることができます。 mBARTでは、ほとんどの言語ペアがエンコーダで、ほとんどのデコーダはフリーズして、素早い微調整のパフォーマンスにマッチするか、向上します。
  論文  参考訳（メタデータ） (2020-04-30T16:09:22Z)
• Bootstrapping a Crosslingual Semantic Parser [74.99223099702157]
  我々は、英語のような単一の言語で訓練された意味を、最小限のアノテーションで新しい言語や複数のドメインに適用する。 我々は、機械翻訳がトレーニングデータの適切な代用であるかどうかを問うとともに、英語、パラフレーズ、多言語事前学習モデルとの併用トレーニングを用いて、ブートストラップを調査するように拡張する。
  論文  参考訳（メタデータ） (2020-04-06T12:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。