論文の概要: WECHSEL: Effective initialization of subword embeddings for cross-lingual transfer of monolingual language models

• arxiv url: http://arxiv.org/abs/2112.06598v1
• Date: Mon, 13 Dec 2021 12:26:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 22:51:34.651772
• Title: WECHSEL: Effective initialization of subword embeddings for cross-lingual transfer of monolingual language models
• Title（参考訳）: WECHSEL:単言語モデルの言語間移動のための単語埋め込みの効果的な初期化
• Authors: Benjamin Minixhofer, Fabian Paischer, Navid Rekabsaz
• Abstract要約: WECHSELと呼ばれる手法を導入し、新しい言語に英語モデルを転送する。 We use WECHSEL to transfer GPT-2 and RoBERTa models to four other languages。
• 参考スコア（独自算出の注目度）: 3.6878069324996616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, large pretrained language models (LMs) have gained popularity. Training these models requires ever more computational resources and most of the existing models are trained on English text only. It is exceedingly expensive to train these models in other languages. To alleviate this problem, we introduce a method -- called WECHSEL -- to transfer English models to new languages. We exchange the tokenizer of the English model with a tokenizer in the target language and initialize token embeddings such that they are close to semantically similar English tokens by utilizing multilingual static word embeddings covering English and the target language. We use WECHSEL to transfer GPT-2 and RoBERTa models to 4 other languages (French, German, Chinese and Swahili). WECHSEL improves over a previously proposed method for cross-lingual parameter transfer and outperforms models of comparable size trained from scratch in the target language with up to 64x less training effort. Our method makes training large language models for new languages more accessible and less damaging to the environment. We make our code and models publicly available.
• Abstract（参考訳）: 近年,大規模事前学習型言語モデル (LM) が普及している。 これらのモデルのトレーニングにはより多くの計算リソースが必要であり、既存のモデルのほとんどは英語のテキストのみでトレーニングされている。 これらのモデルを他の言語でトレーニングするのは非常に高価です。 この問題を軽減するため,WECHSELと呼ばれる手法を導入し,新しい言語に英語モデルを転送する。 英語モデルのトークン化子を対象言語のトークン化子と交換し、英語と対象言語をカバーする多言語静的単語埋め込みを利用して、意味的に類似した英語トークンに近いトークン埋め込みを初期化する。 wechselを使ってgpt-2とrobertaのモデルを他の4つの言語(フランス語、ドイツ語、中国語、スワヒリ語)に転送します。 WECHSELは、これまで提案されていた言語間パラメータ転送の手法を改良し、最大64倍のトレーニング作業で、ターゲット言語のスクラッチからトレーニングされた同等のサイズのモデルより優れている。 提案手法により,新しい言語に対する大規模言語モデルの訓練が容易になり,環境へのダメージが軽減される。 コードとモデルを公開しています。

関連論文リスト

• Tik-to-Tok: Translating Language Models One Token at a Time: An Embedding Initialization Strategy for Efficient Language Adaptation [19.624330093598996]
  低級および中級の言語を対象としたモノリンガル言語モデルのトレーニングは、限定的かつしばしば不十分な事前学習データによって難しい。 ソース言語とターゲット言語の両方を含む単語翻訳辞書を一般化することにより、ターゲットトークン化者からのトークンをソース言語トークン化者からの意味的に類似したトークンにマッピングする。 我々は、高リソースモデルから中・低リソース言語、すなわちオランダ語とフリシアン語への変換実験を行っている。
  論文  参考訳（メタデータ） (2023-10-05T11:45:29Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Efficient Language Model Training through Cross-Lingual and Progressive Transfer Learning [0.7612676127275795]
  ほとんどのトランスフォーマー言語モデルは英語のテキストで事前訓練されている。 モデルのサイズが大きくなるにつれて、英語と他の言語のパフォーマンスギャップはさらに大きくなる。 我々はCLP-Transferと呼ばれる言語横断的・進行的トランスファー学習手法を導入する。
  論文  参考訳（メタデータ） (2023-01-23T18:56:12Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Allocating Large Vocabulary Capacity for Cross-lingual Language Model Pre-training [59.571632468137075]
  最近の言語間言語モデルでは,語彙の容量が限られているため,多くの言語が不足していることがわかった。 本稿では,各言語の語彙能力を決定するアルゴリズムであるVoCapを提案する。 この問題に対処するために,k-NNに基づくターゲットサンプリングを提案し,コストの高いソフトマックスを高速化する。
  論文  参考訳（メタデータ） (2021-09-15T14:04:16Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• When Being Unseen from mBERT is just the Beginning: Handling New Languages With Multilingual Language Models [2.457872341625575]
  大量の生データに基づく事前学習言語モデルに基づく伝達学習は,NLPの最先端性能に到達するための新しい規範となっている。 このようなモデルは、目に見えない言語に対して複数の方法で振る舞うことを示す。
  論文  参考訳（メタデータ） (2020-10-24T10:15:03Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)
• WikiBERT models: deep transfer learning for many languages [1.3455090151301572]
  ウィキペディアデータから言語固有のBERTモデルを作成するための、単純で完全に自動化されたパイプラインを導入します。 我々は,これらのモデルの有効性を,Universal Dependenciesデータに基づく最先端のUDifyを用いて評価する。
  論文  参考訳（メタデータ） (2020-06-02T11:57:53Z)
• Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation [73.65237422910738]
  既存の文埋め込みモデルを新しい言語に拡張する,簡単かつ効率的な手法を提案する。 これにより、以前のモノリンガルモデルから多言語バージョンを作成することができる。
  論文  参考訳（メタデータ） (2020-04-21T08:20:25Z)
• Give your Text Representation Models some Love: the Case for Basque [24.76979832867631]
  単語の埋め込みと事前訓練された言語モデルは、テキストのリッチな表現を構築することができる。 多くの小規模企業や研究グループは、サードパーティによって事前訓練され利用可能になったモデルを使用する傾向にある。 これは、多くの言語において、モデルはより小さい(またはより低い)コーパスで訓練されているため、亜最適である。 より大規模なバスク語コーパスを用いて学習したモノリンガルモデルでは、下流のNLPタスクで利用可能なバージョンよりもはるかに優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-03-31T18:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。