論文の概要: Evaluating Multilingual BERT for Estonian

• arxiv url: http://arxiv.org/abs/2010.00454v2
• Date: Fri, 8 Jan 2021 10:00:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 08:00:42.936156
• Title: Evaluating Multilingual BERT for Estonian
• Title（参考訳）: エストニア語における多言語BERTの評価
• Authors: Claudia Kittask, Kirill Milintsevich, Kairit Sirts
• Abstract要約: 複数のNLPタスクにおいて,多言語BERT,多言語蒸留BERT,XLM,XLM-RoBERTaの4つのモデルを評価する。 この結果から,多言語BERTモデルはエストニアの異なるNLPタスクでうまく一般化できることが示唆された。
• 参考スコア（独自算出の注目度）: 0.8057006406834467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, large pre-trained language models, such as BERT, have reached state-of-the-art performance in many natural language processing tasks, but for many languages, including Estonian, BERT models are not yet available. However, there exist several multilingual BERT models that can handle multiple languages simultaneously and that have been trained also on Estonian data. In this paper, we evaluate four multilingual models -- multilingual BERT, multilingual distilled BERT, XLM and XLM-RoBERTa -- on several NLP tasks including POS and morphological tagging, NER and text classification. Our aim is to establish a comparison between these multilingual BERT models and the existing baseline neural models for these tasks. Our results show that multilingual BERT models can generalise well on different Estonian NLP tasks outperforming all baselines models for POS and morphological tagging and text classification, and reaching the comparable level with the best baseline for NER, with XLM-RoBERTa achieving the highest results compared with other multilingual models.
• Abstract（参考訳）: 近年、BERTのような大規模な事前訓練された言語モデルは、多くの自然言語処理タスクにおいて最先端のパフォーマンスに達しているが、エストニア語を含む多くの言語では、BERTモデルは利用できない。 しかし、複数の言語を同時に扱うことができる複数の多言語BERTモデルが存在し、エストニアのデータでも訓練されている。 本稿では,多言語BERT,多言語蒸留BERT,XLM,XLM-RoBERTaの4つのモデルを,POSや形態的タグ付け,NER,テキスト分類などのNLPタスクで評価する。 本研究の目的は,これらの多言語BERTモデルと既存のベースラインニューラルモデルとの比較を確立することである。 以上の結果から,多言語BERT モデルはエストニアの異なる NLP タスクにおいて,POS および形態的タグ付けおよびテキスト分類のベースラインモデルよりも優れており,XLM-RoBERTa が他の多言語モデルと比較して最も高い結果を得ることができた。

関連論文リスト

• On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based Multilingual Model [49.81429697921861]
  多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。 高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-14T00:43:33Z)
• Training dataset and dictionary sizes matter in BERT models: the case of Baltic languages [0.0]
  我々はリトアニア語、ラトビア語、英語の3言語モデルLitLat BERTとエストニア語の単言語モデルEst-RoBERTaを訓練する。 提案手法は,エンティティ認識,依存性解析,パート・オブ・音声タグ付け,単語類似処理の4つのダウンストリームタスクにおいて,その性能を評価する。
  論文  参考訳（メタデータ） (2021-12-20T14:26:40Z)
• Evaluation of contextual embeddings on less-resourced languages [4.417922173735813]
  本稿では,2つのELMoと2つの単言語および複数言語のBERTモデルに対して,9つの言語で14のタスクを用いた最初の多言語比較を行った。 モノリンガル設定では、単言語BERTモデルが一般的に支配的であり、依存性解析タスクなどいくつかの例外がある。 言語横断的な設定では、BERTモデルは少数の言語でのみ訓練され、非常に多言語なBERTモデルと密接に関連している。
  論文  参考訳（メタデータ） (2021-07-22T12:32:27Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• EstBERT: A Pretrained Language-Specific BERT for Estonian [0.3674863913115431]
  本稿では,エストニア語のための言語固有BERTモデルであるEstBERTについて述べる。 最近の研究はエストニアのタスクにおける多言語BERTモデルを評価し、ベースラインを上回る結果を得た。 EstBERTに基づくモデルは、6つのタスクのうち5つのタスクにおいて多言語BERTモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-09T21:33:53Z)
• Towards Fully Bilingual Deep Language Modeling [1.3455090151301572]
  両言語のパフォーマンスを損なうことなく、2つの遠隔関連言語に対してバイリンガルモデルを事前学習することが可能かを検討する。 フィンランド英語のバイリンガルBERTモデルを作成し、対応するモノリンガルモデルを評価するために使用されるデータセットの性能を評価する。 我々のバイリンガルモデルは、GLUE上のGoogleのオリジナル英語BERTと同等に動作し、フィンランドのNLPタスクにおける単言語フィンランドBERTのパフォーマンスとほぼ一致します。
  論文  参考訳（メタデータ） (2020-10-22T12:22:50Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)
• CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP [68.2650714613869]
  我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。 既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
  論文  参考訳（メタデータ） (2020-06-11T13:15:59Z)
• ParsBERT: Transformer-based Model for Persian Language Understanding [0.7646713951724012]
  本稿ではペルシャ語用単言語BERT(ParsBERT)を提案する。 他のアーキテクチャや多言語モデルと比較すると、最先端のパフォーマンスを示している。 ParsBERTは、既存のデータセットや合成データセットを含む、すべてのデータセットでより高いスコアを取得する。
  論文  参考訳（メタデータ） (2020-05-26T05:05:32Z)
• A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
  Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。 多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
  論文  参考訳（メタデータ） (2020-04-20T11:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。