論文の概要: XLM-K: Improving Cross-Lingual Language Model Pre-Training with Multilingual Knowledge

• arxiv url: http://arxiv.org/abs/2109.12573v1
• Date: Sun, 26 Sep 2021 11:46:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:37:10.795579
• Title: XLM-K: Improving Cross-Lingual Language Model Pre-Training with Multilingual Knowledge
• Title（参考訳）: XLM-K:多言語知識による言語間モデル事前学習の改善
• Authors: Xiaoze Jiang, Yaobo Liang, Weizhu Chen, Nan Duan
• Abstract要約: 言語間事前学習は単言語とバイリンガルの平文コーパスを用いて大きな成功を収めた。 本稿では,事前学習に多言語知識を取り入れた言語間言語モデルXLM-Kを提案する。
• 参考スコア（独自算出の注目度）: 31.765178013933134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-lingual pre-training has achieved great successes using monolingual and bilingual plain text corpora. However, existing pre-trained models neglect multilingual knowledge, which is language agnostic but comprises abundant cross-lingual structure alignment. In this paper, we propose XLM-K, a cross-lingual language model incorporating multilingual knowledge in pre-training. XLM-K augments existing multilingual pre-training with two knowledge tasks, namely Masked Entity Prediction Task and Object Entailment Task. We evaluate XLM-K on MLQA, NER and XNLI. Experimental results clearly demonstrate significant improvements over existing multilingual language models. The results on MLQA and NER exhibit the superiority of XLM-K in knowledge related tasks. The success in XNLI shows a better cross-lingual transferability obtained in XLM-K. What is more, we provide a detailed probing analysis to confirm the desired knowledge captured in our pre-training regimen.
• Abstract（参考訳）: 言語間事前学習は単言語とバイリンガルの平文コーパスを用いて大きな成功を収めた。 しかし、既存の事前学習モデルは言語に依存しないが言語間構造アライメントが豊富である多言語知識を無視している。 本稿では,事前学習に多言語知識を取り入れた言語横断モデルXLM-Kを提案する。 XLM-Kは既存の多言語事前トレーニングを2つの知識タスク、すなわちMasked Entity Prediction TaskとObject Entailment Taskで強化する。 MLQA, NER, XNLIにおけるXLM-Kの評価を行った。 実験結果から,既存の多言語言語モデルよりも顕著な改善が示された。 The results on MLQA and NER exhibit the superiority of XLM-K in knowledge related task。 XNLIの成功は、XLM-Kで得られるより優れた言語間移動性を示す。 さらに、事前学習体制で取得した所望の知識を確認するための詳細な調査分析も提供します。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Breaking the Curse of Multilinguality with Cross-lingual Expert Language Models [110.10545153845051]
  X-ELM(X-Langual Expert Language Models、X-ELM)は、X-ELMを異なる言語に専門化するプロセスである。 新しい専門家を反復的に追加し、破滅的な忘れをせずに新しい言語にX-ELMを適用する。
  論文  参考訳（メタデータ） (2024-01-19T01:07:50Z)
• KBioXLM: A Knowledge-anchored Biomedical Multilingual Pretrained Language Model [37.69464822182714]
  ほとんどの生物医学的な事前訓練された言語モデルはモノリンガルであり、言語間要求の増大に対処できない。 本稿では,多言語事前学習型XLM-Rを知識アンコール手法を用いて生物医学領域に変換するKBioXLMというモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-20T07:02:35Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models [100.29953199404905]
  語彙重複の少ない言語間でのトークン共有を非強調化することにより,多言語語彙に拡張する新たなアプローチを提案する。 我々は100万のトークン語彙を持つ多言語言語モデルであるXLM-Vを訓練する。 XLM-V は低リソースの言語タスクに特に有効であり、マサハナーとアメリカの NLI では XLM-R を 11.2% と 5.8% で上回っている。
  論文  参考訳（メタデータ） (2023-01-25T09:15:17Z)
• A Primer on Pretrained Multilingual Language Models [18.943173499882885]
  MLLM(Multilingual Language Models)は、多数の言語に事前学習の能力をもたらすための実行可能な選択肢として登場した。 本報告では,MLLMに関する研究分野について概説する。
  論文  参考訳（メタデータ） (2021-07-01T18:01:46Z)
• XLM-E: Cross-lingual Language Model Pre-training via ELECTRA [46.80613153602189]
  我々は,多言語コーパスと並列コーパスの両方で,XLM-Eという名前のモデルを事前学習する。 我々のモデルは、様々な言語間理解タスクにおけるベースラインモデルよりもはるかに低コストで性能を向上する。
  論文  参考訳（メタデータ） (2021-06-30T15:45:07Z)
• X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering [55.57776147848929]
  自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。 我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。 提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
  論文  参考訳（メタデータ） (2021-04-20T00:13:35Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。