論文の概要: Using Massive Multilingual Pre-Trained Language Models Towards Real
Zero-Shot Neural Machine Translation in Clinical Domain
- arxiv url: http://arxiv.org/abs/2210.06068v1
- Date: Wed, 12 Oct 2022 10:19:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 12:34:53.366036
- Title: Using Massive Multilingual Pre-Trained Language Models Towards Real
Zero-Shot Neural Machine Translation in Clinical Domain
- Title（参考訳）: 臨床領域における実ゼロショットニューラルマシン翻訳のための大規模多言語事前学習言語モデル
- Authors: Lifeng Han, Gleb Erofeev, Irina Sorokina, Serge Gladkoff, Goran
Nenadic
- Abstract要約: 我々は,MMPLMがゼロショット機械翻訳(MT)に適用できるかどうかを,全く新しい言語対と新しいドメインに対して検討する。
従来の学習済みコーパスには暗黙的にも明示的にも全く存在しなかった英語とスペイン語のペアに対して,MPLMを微調整した。
これは、MMPLMを実際のゼロショットNMTに使用する最初の研究であり、事前トレーニング中に完全に見えない言語に成功し、そのような研究のために臨床領域で最初のものである。
- 参考スコア（独自算出の注目度）: 11.571189144910521
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Massively multilingual pre-trained language models (MMPLMs) are developed in
recent years demonstrating superpowers and the pre-knowledge they acquire for
downstream tasks. In this work, we investigate whether MMPLMs can be applied to
zero-shot machine translation (MT) toward entirely new language pairs and new
domains. We carry out an experimental investigation using Meta-AI's MMPLMs
"wmt21-dense-24-wide-en-X and X-en (WMT21fb)" which were pre-trained on 7
language pairs and 14 translation directions including English to Czech,
German, Hausa, Icelandic, Japanese, Russian, and Chinese, and opposite
direction. We fine-tune these MMPLMs towards English-Spanish language pair
which did not exist at all in their original pre-trained corpora both
implicitly and explicitly. We prepare carefully aligned clinical domain data
for this fine-tuning, which is different from their original mixed domain
knowledge as well. Our experimental result shows that the fine-tuning is very
successful using just 250k well-aligned in-domain EN-ES pairs/sentences for
three sub-task translation tests: clinical cases, clinical terms, and ontology
concepts. It achieves very close evaluation scores to another MMPLM NLLB from
Meta-AI, which included Spanish as a high-resource setting in the pre-training.
To the best of our knowledge, this is the first work on using MMPLMs towards
real zero-shot NMT successfully for totally unseen languages during
pre-training, and also the first in clinical domain for such a study.
- Abstract（参考訳）: 近年、多言語事前学習言語モデル (MMPLM) が開発され、下流タスクのために獲得した超能力と事前知識が実証されている。
本研究では,MMPLMがゼロショット機械翻訳(MT)に適用可能かどうかを,全く新しい言語対と新しいドメインに対して検討する。
チェコ語、ドイツ語、ハウサ語、アイスランド語、日本語、ロシア語、中国語の7つの言語対と14の翻訳方向で事前訓練されたメタAIのMMPLM「wmt21-dense-24wide-en-X and X-en」(WMT21fb)を用いて実験を行った。
我々は、これらのMPLMを英語とスペイン語のペアに微調整するが、それらは、暗黙的にも明示的にも、元の訓練済みコーパスには全く存在しなかった。
この微調整のための臨床領域データを慎重に調整するが、これは元々の混合ドメインの知識と異なる。
実験の結果, 臨床, 臨床用語, オントロジー概念の3つのサブタスク翻訳テストにおいて, ドメイン内EN-ESペアと文の整合性は250kに過ぎなかった。
Meta-AIの別のMMPLM NLLBに非常に近い評価スコアを達成している。
我々の知る限りでは、MMPLMを実際のゼロショットNMTに活用する最初の研究であり、また、そのような研究分野における最初の臨床研究である。
関連論文リスト
- TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。
本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。
WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-06-12T17:21:21Z) - Neural Machine Translation of Clinical Text: An Empirical Investigation
into Multilingual Pre-Trained Language Models and Transfer-Learning [6.822926897514793]
1)臨床症例(CC),2)臨床用語(CT),3)オントロジ概念(OC)の3つのサブタスクの実験結果
ClinSpEn-2022では,英語とスペイン語の臨床領域データの共有タスクにおいて,トップレベルのパフォーマンスを達成した。
WMT21fbモデルを用いて,新しい言語空間をスペイン語で表現する手法について検討した。
論文 参考訳（メタデータ） (2023-12-12T13:26:42Z) - KBioXLM: A Knowledge-anchored Biomedical Multilingual Pretrained
Language Model [37.69464822182714]
ほとんどの生物医学的な事前訓練された言語モデルはモノリンガルであり、言語間要求の増大に対処できない。
本稿では,多言語事前学習型XLM-Rを知識アンコール手法を用いて生物医学領域に変換するKBioXLMというモデルを提案する。
論文 参考訳（メタデータ） (2023-11-20T07:02:35Z) - LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。
我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
論文 参考訳（メタデータ） (2022-11-10T05:09:16Z) - Can Domains Be Transferred Across Languages in Multi-Domain Multilingual
Neural Machine Translation? [52.27798071809941]
本稿では,多言語NMTと多言語NMTの合成において,言語間でドメイン情報を転送できるかどうかを検討する。
マルチドメイン多言語(MDML)NMTは,BLEUで0ショット変換性能を+10ゲインまで向上させることができる。
論文 参考訳（メタデータ） (2022-10-20T23:13:54Z) - Improving the Lexical Ability of Pretrained Language Models for
Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。
これまでの研究では、これは表現が十分に整合していないためです。
本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文 参考訳（メタデータ） (2021-03-18T21:17:58Z) - Complete Multilingual Neural Machine Translation [44.98358050355681]
本稿では、英語中心の並列コーパスを充実させるために、多方向整列例を用いて検討する。
このような接続パターンでMNMTを完全多言語ニューラルネットワーク翻訳(cMNMT)と呼ぶ。
対象言語のみに条件付けされた新たなトレーニングデータサンプリング戦略と組み合わせて、cMNMTは全ての言語ペアに対して競合翻訳品質を得る。
論文 参考訳（メタデータ） (2020-10-20T13:03:48Z) - Pre-training Multilingual Neural Machine Translation by Leveraging
Alignment Information [72.2412707779571]
mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。
我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
論文 参考訳（メタデータ） (2020-10-07T03:57:54Z) - Reusing a Pretrained Language Model on Languages with Limited Corpora
for Unsupervised NMT [129.99918589405675]
本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。
モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。
我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
論文 参考訳（メタデータ） (2020-09-16T11:37:10Z) - El Departamento de Nosotros: How Machine Translated Corpora Affects
Language Models in MRC Tasks [0.12183405753834563]
大規模言語モデル(LM)の事前学習には大量のテキストコーパスが必要である。
下流自然言語処理タスクの微調整に直接翻訳コーパスを適用する際の注意点について検討する。
後処理に伴う慎重なキュレーションにより,性能が向上し,LM全体の堅牢性が向上することを示す。
論文 参考訳（メタデータ） (2020-07-03T22:22:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。