論文の概要: Multilingual Language Model Adaptive Fine-Tuning: A Study on African
Languages
- arxiv url: http://arxiv.org/abs/2204.06487v1
- Date: Wed, 13 Apr 2022 16:13:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-14 15:40:46.085884
- Title: Multilingual Language Model Adaptive Fine-Tuning: A Study on African
Languages
- Title(参考訳): 多言語言語モデル適応微調整:アフリカ言語の研究
- Authors: Jesujoba O. Alabi, David Ifeoluwa Adelani, Marius Mosbach, Dietrich
Klakow
- Abstract要約: 我々は、アフリカ大陸で広く話されている17の最もリソースの多いアフリカ言語と他の3つの高リソース言語に対して、多言語適応微調整(MAFT)を行う。
多言語 PLM をさらに専門化するため,MAFT 以前の非アフリカ文字スクリプトに対応する埋め込み層から語彙トークンを除去した。
当社のアプローチでは,LAFTを個々の言語に適用する上で,ディスクスペースを大幅に削減する。
- 参考スコア(独自算出の注目度): 19.067718464786463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual pre-trained language models (PLMs) have demonstrated impressive
performance on several downstream tasks on both high resourced and
low-resourced languages. However, there is still a large performance drop for
languages unseen during pre-training, especially African languages. One of the
most effective approaches to adapt to a new language is language adaptive
fine-tuning (LAFT) -- fine-tuning a multilingual PLM on monolingual texts of a
language using the same pre-training objective. However, African languages with
large monolingual texts are few, and adapting to each of them individually
takes large disk space and limits the cross-lingual transfer abilities of the
resulting models because they have been specialized for a single language. In
this paper, we perform multilingual adaptive fine-tuning (MAFT) on 17
most-resourced African languages and three other high-resource languages widely
spoken on the African continent -- English, French, and Arabic to encourage
cross-lingual transfer learning. Additionally, to further specialize the
multilingual PLM, we removed vocabulary tokens from the embedding layer that
corresponds to non-African writing scripts before MAFT, thus reducing the model
size by around 50\%. Our evaluation on two multilingual PLMs (AfriBERTa and
XLM-R) and three NLP tasks (NER, news topic classification, and sentiment
classification) shows that our approach is competitive to applying LAFT on
individual languages while requiring significantly less disk space. Finally, we
show that our adapted PLM also improves the zero-shot cross-lingual transfer
abilities of parameter efficient fine-tuning methods.
- Abstract(参考訳): 多言語事前学習言語モデル(PLM)は、高リソース言語と低リソース言語の両方において、いくつかの下流タスクにおいて顕著な性能を示した。
しかし、事前学習中の言語、特にアフリカの言語には、依然として大きなパフォーマンス低下がある。
新しい言語に適応するための最も効果的なアプローチの1つは、言語適応微調整(LAFT)である。
しかし、大きな単言語テキストを持つアフリカの言語は少ないため、それぞれの言語に適応することは大きなディスク空間を個別に取り、単一の言語に特化していたため、結果モデルの言語間転送能力を制限する。
本稿では,多言語適応型微調整(MAFT)を,アフリカ大陸で広く話されている17の最も音源の多いアフリカ諸言語と,英語,フランス語,アラビア語の3言語で実施し,言語間移動学習を促進する。
さらに、多言語 PLM をさらに専門化するため、MAFT 以前の非アフリカ文字スクリプトに対応する埋め込み層から語彙トークンを除去し、モデルサイズを約 50 % 削減した。
AfriBERTa と XLM-R の2つの多言語 PLM と3つの NLP タスク (NER,ニューストピック分類,感情分類) に対する評価は,LAFT を個々の言語に適用する上で,ディスクスペースを大幅に削減しつつ競合することを示している。
最後に,我々の適応型PLMは,パラメータ効率の良い微調整手法のゼロショット・クロスランガル変換能力も向上することを示した。
関連論文リスト
- Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is
Needed? [45.10397051167781]
非英語設定で適切なパフォーマンスを達成するためには、言語間転送が重要である。
英語のみの微調整と比較すると、3つの言語での多言語指導はモデルの言語間変換能力を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-12-20T00:49:52Z) - When Is Multilinguality a Curse? Language Modeling for 250 High- and
Low-Resource Languages [25.52470575274251]
私たちは250以上の言語で1万以上のモノリンガルおよび多言語言語モデルを事前訓練しています。
モデレーションでは、多言語データを追加することで、低リソース言語モデリングのパフォーマンスが向上する。
データセットのサイズが大きくなるにつれて、マルチリンガルデータの追加は、低リソース言語と高リソース言語の両方のパフォーマンスを損なうようになる。
論文 参考訳(メタデータ) (2023-11-15T18:47:42Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - Romanization-based Large-scale Adaptation of Multilingual Language
Models [124.57923286144515]
大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。
我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。
以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
論文 参考訳(メタデータ) (2023-04-18T09:58:34Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳(メタデータ) (2023-04-03T18:46:01Z) - AfroLM: A Self-Active Learning-based Multilingual Pretrained Language
Model for 23 African Languages [0.021987601456703476]
AfroLMは、23のアフリカ語でスクラッチから事前訓練された多言語言語モデルである。
AfroLMは、既存のベースラインよりも小さいデータセット14xで事前訓練される。
様々な領域にまたがってうまく一般化することができる。
論文 参考訳(メタデータ) (2022-11-07T02:15:25Z) - Generalizing Multimodal Pre-training into Multilingual via Language
Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。
この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。
単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-29T08:53:22Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳(メタデータ) (2020-12-31T11:37:28Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳(メタデータ) (2020-10-27T13:12:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。