論文の概要: LangSAMP: Language-Script Aware Multilingual Pretraining

• arxiv url: http://arxiv.org/abs/2409.18199v1
• Date: Thu, 26 Sep 2024 18:29:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 15:31:30.976474
• Title: LangSAMP: Language-Script Aware Multilingual Pretraining
• Title（参考訳）: LangSAMP:多言語事前トレーニングを意識した言語スクリプト
• Authors: Yihong Liu, Haotian Ye, Chunlan Ma, Mingyang Wang, Hinrich Schütze,
• Abstract要約: 最近の多言語事前訓練言語モデル(mPLM)は、言語埋め込みの使用を避けることが多い。 LangSAMPには言語とスクリプトの埋め込みが組み込まれており、表現学習が強化されている。 我々は500以上の言語をカバーする多言語コーパス上のXLM-Rの継続事前学習にLangSAMPを適用した。
• 参考スコア（独自算出の注目度）: 48.16511046793275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent multilingual pretrained language models (mPLMs) often avoid using language embeddings -- learnable vectors assigned to different languages. These embeddings are discarded for two main reasons: (1) mPLMs are expected to have a single, unified parameter set across all languages, and (2) they need to function seamlessly as universal text encoders without requiring language IDs as input. However, this removal increases the burden on token embeddings to encode all language-specific information, which may hinder the model's ability to produce more language-neutral representations. To address this challenge, we propose Language-Script Aware Multilingual Pretraining (LangSAMP), a method that incorporates both language and script embeddings to enhance representation learning while maintaining a simple architecture. Specifically, we integrate these embeddings into the output of the transformer blocks before passing the final representations to the language modeling head for prediction. We apply LangSAMP to the continual pretraining of XLM-R on a highly multilingual corpus covering more than 500 languages. The resulting model consistently outperforms the baseline. Extensive analysis further shows that language/script embeddings encode language/script-specific information, which improves the selection of source languages for crosslingual transfer. We make our code and models publicly available at \url{https://github.com/cisnlp/LangSAMP}.
• Abstract（参考訳）: 最近の多言語事前訓練言語モデル(mPLM)は、言語埋め込み(言語に割り当てられた学習可能なベクトル)の使用を避けることが多い。 これらの埋め込みは、(1)mPLMはすべての言語にまたがる単一の統一パラメータを持つことが期待され、(2)言語IDを入力として必要とせずに、普遍的なテキストエンコーダとしてシームレスに機能する必要がある。 しかし、この除去により、全ての言語固有の情報をエンコードするトークン埋め込みの負担が増大し、より多くの言語中立表現を生成できない可能性がある。 この課題に対処するため,LangSAMP(Language-Script Aware Multilingual Pretraining)を提案する。 具体的には、最終的な表現を言語モデリングヘッドに渡す前に、これらの埋め込みを変換器ブロックの出力に統合して予測する。 我々は500以上の言語をカバーする多言語コーパス上のXLM-Rの継続事前学習にLangSAMPを適用した。 結果として得られるモデルは、ベースラインを一貫して上回る。 さらに、言語/スクリプトの埋め込みが言語/スクリプト固有の情報をエンコードすることを示し、言語間移動のためのソース言語の選択を改善する。 コードとモデルは、 \url{https://github.com/cisnlp/LangSAMP}で公開しています。

関連論文リスト

• A two-stage transliteration approach to improve performance of a multilingual ASR [1.9511556030544333]
  本稿では,言語に依存しないエンドツーエンドモデルを構築するためのアプローチを提案する。 我々は2つのIndic言語に対するエンドツーエンドの多言語音声認識システムを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-10-09T05:30:33Z)
• MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing [78.62611800987817]
  大規模言語モデル(LLM)は、事前学習データに言語が不均等に分布するため、しばしば英語中心である。 そこで本稿では,MoE-LPR (Mixture-of-Experts with Language Priors) と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T07:43:49Z)
• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。