論文の概要: Multilingual Translation with Extensible Multilingual Pretraining and
Finetuning
- arxiv url: http://arxiv.org/abs/2008.00401v1
- Date: Sun, 2 Aug 2020 05:36:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 19:37:36.435693
- Title: Multilingual Translation with Extensible Multilingual Pretraining and
Finetuning
- Title（参考訳）: 拡張可能な多言語事前学習と微調整による多言語翻訳
- Authors: Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav
Chaudhary, Jiatao Gu, Angela Fan
- Abstract要約: これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。
多言語翻訳モデルは多言語微調整により作成可能であることを示す。
事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
- 参考スコア（独自算出の注目度）: 77.33262578776291
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work demonstrates the potential of multilingual pretraining of
creating one model that can be used for various tasks in different languages.
Previous work in multilingual pretraining has demonstrated that machine
translation systems can be created by finetuning on bitext. In this work, we
show that multilingual translation models can be created through multilingual
finetuning. Instead of finetuning on one direction, a pretrained model is
finetuned on many directions at the same time. Compared to multilingual models
trained from scratch, starting from pretrained models incorporates the benefits
of large quantities of unlabeled monolingual data, which is particularly
important for low resource languages where bitext is not available. We
demonstrate that pretrained models can be extended to incorporate additional
languages without loss of performance. We double the number of languages in
mBART to support multilingual machine translation models of 50 languages.
Finally, we create the ML50 benchmark, covering low, mid, and high resource
languages, to facilitate reproducible research by standardizing training and
evaluation data. On ML50, we demonstrate that multilingual finetuning improves
on average 1 BLEU over the strongest baselines (being either multilingual from
scratch or bilingual finetuning) while improving 9.3 BLEU on average over
bilingual baselines from scratch.
- Abstract（参考訳）: 最近の研究は、異なる言語で様々なタスクに使用できる1つのモデルを作成するための多言語事前訓練の可能性を示している。
先行研究である多言語事前学習では、バイテキストの微調整によって機械翻訳システムが作成できることが実証されている。
本研究では,多言語翻訳モデルを多言語微調整により作成できることを示す。
1つの方向を微調整する代わりに、事前訓練されたモデルは複数の方向を同時に微調整する。
スクラッチからトレーニングされた多言語モデルと比較して、事前訓練されたモデルから始めると、ラベルなしの大量の単言語データの利点が取り入れられ、バイテキストが利用できない低リソース言語では特に重要である。
事前訓練されたモデルは、性能を損なうことなく追加の言語を組み込むことができることを示す。
我々はmBARTの言語数を2倍にし、50言語の多言語機械翻訳モデルをサポートする。
最後に、低、中、高リソース言語をカバーするML50ベンチマークを作成し、トレーニングデータと評価データの標準化により再現可能な研究を容易にする。
ml50では,2言語ベースラインよりも平均9.3 bleuをスクラッチから改善しながら,最強ベースライン(スクラッチから多言語かバイリンガルの微調整か)よりも平均1 bleuが向上することを示す。
関連論文リスト
- PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳（メタデータ） (2023-07-12T09:00:37Z) - MiLMo:Minority Multilingual Pre-trained Language Model [1.6409017540235764]
本稿では、マイノリティ言語タスクにおいてより優れた性能を発揮する、MLMoという多言語事前学習モデルを構築した。
テキスト分類タスクにおいて,Word2vecモデルと事前学習モデルを比較することにより,少数言語の下流タスク研究に最適なスキームを提供する。
論文 参考訳（メタデータ） (2022-12-04T09:28:17Z) - Multilingual Multimodal Learning with Machine Translated Text [27.7207234512674]
英語のマルチモーダルデータの機械翻訳が、容易に利用できる多言語データの欠如を抑えるための効果的なプロキシとなるかどうかを考察する。
得られたデータセットからそのような翻訳を自動的に除去する2つの指標を提案する。
In experiment on five task across 20 languages in the IGLUE benchmark, we show that translated data can provide a useful signal for multilingual multimodal learning。
論文 参考訳（メタデータ） (2022-10-24T11:41:20Z) - Bootstrapping Multilingual Semantic Parsers using Large Language Models [28.257114724384806]
複数の言語にまたがって英語データセットを転送するTranslation-trainパラダイムは、タスク固有の多言語モデルをトレーニングする上で重要な要素である。
本稿では,多言語意味解析の課題を考察し,英語データセットを複数言語に翻訳する大規模言語モデル(LLM)の有効性と柔軟性を示す。
論文 参考訳（メタデータ） (2022-10-13T19:34:14Z) - Generalizing Multimodal Pre-training into Multilingual via Language
Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。
この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。
単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-29T08:53:22Z) - How Good is Your Tokenizer? On the Monolingual Performance of
Multilingual Language Models [96.32118305166412]
本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。
多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
論文 参考訳（メタデータ） (2020-12-31T14:11:00Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳（メタデータ） (2020-12-31T11:37:28Z) - Towards Fully Bilingual Deep Language Modeling [1.3455090151301572]
両言語のパフォーマンスを損なうことなく、2つの遠隔関連言語に対してバイリンガルモデルを事前学習することが可能かを検討する。
フィンランド英語のバイリンガルBERTモデルを作成し、対応するモノリンガルモデルを評価するために使用されるデータセットの性能を評価する。
我々のバイリンガルモデルは、GLUE上のGoogleのオリジナル英語BERTと同等に動作し、フィンランドのNLPタスクにおける単言語フィンランドBERTのパフォーマンスとほぼ一致します。
論文 参考訳（メタデータ） (2020-10-22T12:22:50Z) - Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。
大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。
WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
論文 参考訳（メタデータ） (2020-10-21T17:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。