論文の概要: Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT

• arxiv url: http://arxiv.org/abs/2009.07610v3
• Date: Tue, 6 Oct 2020 13:54:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 23:54:13.705315
• Title: Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT
• Title（参考訳）: 教師なしNMTのための限定コーパスを用いた事前学習言語モデルの再利用
• Authors: Alexandra Chronopoulou, Dario Stojanovski, Alexander Fraser
• Abstract要約: 本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
• 参考スコア（独自算出の注目度）: 129.99918589405675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using a language model (LM) pretrained on two languages with large monolingual data in order to initialize an unsupervised neural machine translation (UNMT) system yields state-of-the-art results. When limited data is available for one language, however, this method leads to poor translations. We present an effective approach that reuses an LM that is pretrained only on the high-resource language. The monolingual LM is fine-tuned on both languages and is then used to initialize a UNMT model. To reuse the pretrained LM, we have to modify its predefined vocabulary, to account for the new language. We therefore propose a novel vocabulary extension method. Our approach, RE-LM, outperforms a competitive cross-lingual pretraining model (XLM) in English-Macedonian (En-Mk) and English-Albanian (En-Sq), yielding more than +8.3 BLEU points for all four translation directions.
• Abstract（参考訳）: unmt(unsupervised neural machine translation)システムを初期化するために、大きな単言語データを持つ2つの言語で事前トレーニングされた言語モデル(lm)を使用することで、最先端の結果が得られる。 しかし、ある言語で限られたデータが利用できる場合、この方法は翻訳が不十分になる。 我々は、高リソース言語のみに事前学習されたlmを再利用する効果的なアプローチを提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 事前訓練されたLMを再利用するには、新しい言語を説明するために、事前定義された語彙を変更する必要がある。 そこで我々は新しい語彙拡張法を提案する。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れており、全4つの翻訳方向に対して+8.3 BLEUポイントを得られる。

関連論文リスト

• An Efficient Multilingual Language Model Compression through Vocabulary Trimming [16.568276582466833]
  語彙トリミング (vocabulary-trimming, VT) は、無関係なトークンを語彙から削除することで、多言語LM語彙を対象言語に還元する手法である。 実験の結果,VT は多言語 LM の本来の性能を維持できるが,サイズは小さく抑えられることがわかった。 この手法は、小さなサイズを単言語モデルとして保持することにより、単言語と多言語の世界の両方の長所を維持することができる。
  論文  参考訳（メタデータ） (2023-05-24T11:00:33Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• MergeDistill: Merging Pre-trained Language Models using Distillation [5.396915402673246]
  我々は、最小限の依存関係で彼らの資産を最大限に活用できる方法で、事前訓練されたLMをマージするフレームワークであるMergeDistillを提案する。 我々は,既存の教師LMと,何桁ものデータと固定モデルキャパシティで訓練された教師LMとの競争力や性能を向上する訓練学生LMを活用して,実践的にフレームワークの適用性を実証する。
  論文  参考訳（メタデータ） (2021-06-05T08:22:05Z)
• Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation [53.22775597051498]
  我々は,mbart を未熟な言語に効果的に適用するための,継続的な事前学習フレームワークを提案する。 その結果,mBARTベースラインの微調整性能を一貫して改善できることが示された。 私たちのアプローチは、両方の言語が元のmBARTの事前トレーニングで見られる翻訳ペアのパフォーマンスを高めます。
  論文  参考訳（メタデータ） (2021-05-09T14:49:07Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation [54.52971020087777]
  モノリンガルデータを使用することで、マルチリンガルモデルにおける低リソース言語の翻訳品質が大幅に向上する。 自己監督は多言語モデルのゼロショット翻訳品質を改善する。 並列データやバックトランスレーションなしで、ro-en翻訳で最大33のBLEUを得る。
  論文  参考訳（メタデータ） (2020-05-11T00:20:33Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。