論文の概要: Pre-training via Leveraging Assisting Languages and Data Selection for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2001.08353v1
• Date: Thu, 23 Jan 2020 02:47:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 10:01:00.430480
• Title: Pre-training via Leveraging Assisting Languages and Data Selection for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳支援言語とデータ選択を活用した事前学習
• Authors: Haiyue Song, Raj Dabre, Zhuoyuan Mao, Fei Cheng, Sadao Kurohashi, Eiichiro Sumita
• Abstract要約: 興味のある言語に対する単言語コーパスの不足を補うために,他の言語の単言語コーパスを活用することを提案する。 低リソースの日英ニューラルマシン翻訳(NMT)のケーススタディでは、中国語とフランス語のモノリンガルコーパスを活用することで、日本語と英語のモノリンガルコーパスの不足を克服できることが示された。
• 参考スコア（独自算出の注目度）: 49.51278300110449
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence-to-sequence (S2S) pre-training using large monolingual data is known to improve performance for various S2S NLP tasks in low-resource settings. However, large monolingual corpora might not always be available for the languages of interest (LOI). To this end, we propose to exploit monolingual corpora of other languages to complement the scarcity of monolingual corpora for the LOI. A case study of low-resource Japanese-English neural machine translation (NMT) reveals that leveraging large Chinese and French monolingual corpora can help overcome the shortage of Japanese and English monolingual corpora, respectively, for S2S pre-training. We further show how to utilize script mapping (Chinese to Japanese) to increase the similarity between the two monolingual corpora leading to further improvements in translation quality. Additionally, we propose simple data-selection techniques to be used prior to pre-training that significantly impact the quality of S2S pre-training. An empirical comparison of our proposed methods reveals that leveraging assisting language monolingual corpora, data selection and script mapping are extremely important for NMT pre-training in low-resource scenarios.
• Abstract（参考訳）: 大きな単言語データを用いたsequence-to-sequence (s2s)プリトレーニングは、低リソース設定で様々なs2s nlpタスクのパフォーマンスを向上させることが知られている。 しかし、大きな単言語コーパスは、常に関心のある言語(LOI)で利用できるとは限らない。 そこで本研究では,LOIのための単言語コーパスの不足を補うために,他言語の単言語コーパスを活用することを提案する。 低リソースの日英ニューラルマシン翻訳(NMT)のケーススタディでは、中国語とフランス語のモノリンガルコーパスを利用することで、S2S事前学習における日本語と英語のモノリンガルコーパスの不足を克服できることが示された。 さらに、2つの単言語コーパス間の類似性を高めるためにスクリプトマッピング(中国語と日本語)を利用する方法を示し、翻訳品質をさらに向上させる。 さらに,s2sプリトレーニングの質に大きな影響を与える事前トレーニング前の簡易データ選択手法を提案する。 提案手法を実証的に比較した結果,低リソースシナリオにおけるNMT事前学習において,言語単言語コーパス,データ選択,スクリプトマッピングの活用が極めて重要であることが明らかとなった。

関連論文リスト

• Cross-Lingual Transfer Learning for Phrase Break Prediction with Multilingual Language Model [13.730152819942445]
  言語間変換学習は低リソース言語の性能向上に特に有効である。 このことは、リソース不足言語におけるTSフロントエンドの開発には、言語間転送が安価で効果的であることを示している。
  論文  参考訳（メタデータ） (2023-06-05T04:10:04Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• Geographical Distance Is The New Hyperparameter: A Case Study Of Finding The Optimal Pre-trained Language For English-isiZulu Machine Translation [0.0]
  本研究は,英語訳フレームワークにおける翻訳学習の潜在的なメリットについて考察する。 1つの多言語コーパスを含む8つの言語コーパスから得られた結果から,isiXa-isiZuluがすべての言語より優れた結果を得た。 我々はまた,事前学習されたモデルに対する言語選択を容易にする新しい係数である,Nasir's Geographical Distance Coefficient (NGDC) も導出した。
  論文  参考訳（メタデータ） (2022-05-17T20:41:25Z)
• Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation [53.22775597051498]
  我々は,mbart を未熟な言語に効果的に適用するための,継続的な事前学習フレームワークを提案する。 その結果,mBARTベースラインの微調整性能を一貫して改善できることが示された。 私たちのアプローチは、両方の言語が元のmBARTの事前トレーニングで見られる翻訳ペアのパフォーマンスを高めます。
  論文  参考訳（メタデータ） (2021-05-09T14:49:07Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Multi-task Learning for Multilingual Neural Machine Translation [32.81785430242313]
  本稿では,bitextデータ上での翻訳タスクと,モノリンガルデータ上での2つの認知タスクを併用してモデルを学習するマルチタスク学習フレームワークを提案する。 提案手法は,高リソース言語と低リソース言語の両方の翻訳品質を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2020-10-06T06:54:12Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)
• Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation [54.52971020087777]
  モノリンガルデータを使用することで、マルチリンガルモデルにおける低リソース言語の翻訳品質が大幅に向上する。 自己監督は多言語モデルのゼロショット翻訳品質を改善する。 並列データやバックトランスレーションなしで、ro-en翻訳で最大33のBLEUを得る。
  論文  参考訳（メタデータ） (2020-05-11T00:20:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。