論文の概要: Evaluation of contextual embeddings on less-resourced languages
- arxiv url: http://arxiv.org/abs/2107.10614v1
- Date: Thu, 22 Jul 2021 12:32:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-23 14:48:56.537062
- Title: Evaluation of contextual embeddings on less-resourced languages
- Title（参考訳）: 低リソース言語における文脈埋め込みの評価
- Authors: Matej Ul\v{c}ar and Ale\v{s} \v{Z}agar and Carlos S. Armendariz and
Andra\v{z} Repar and Senja Pollak and Matthew Purver and Marko
Robnik-\v{S}ikonja
- Abstract要約: 本稿では,2つのELMoと2つの単言語および複数言語のBERTモデルに対して,9つの言語で14のタスクを用いた最初の多言語比較を行った。
モノリンガル設定では、単言語BERTモデルが一般的に支配的であり、依存性解析タスクなどいくつかの例外がある。
言語横断的な設定では、BERTモデルは少数の言語でのみ訓練され、非常に多言語なBERTモデルと密接に関連している。
- 参考スコア（独自算出の注目度）: 4.417922173735813
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The current dominance of deep neural networks in natural language processing
is based on contextual embeddings such as ELMo, BERT, and BERT derivatives.
Most existing work focuses on English; in contrast, we present here the first
multilingual empirical comparison of two ELMo and several monolingual and
multilingual BERT models using 14 tasks in nine languages. In monolingual
settings, our analysis shows that monolingual BERT models generally dominate,
with a few exceptions such as the dependency parsing task, where they are not
competitive with ELMo models trained on large corpora. In cross-lingual
settings, BERT models trained on only a few languages mostly do best, closely
followed by massively multilingual BERT models.
- Abstract（参考訳）: 自然言語処理におけるディープニューラルネットワークの現在の優位性は、ELMo、BERT、BERT誘導体などのコンテキスト埋め込みに基づいている。
対照的に、我々は9つの言語で14のタスクを用いて、2つのエルモと複数の単言語および多言語bertモデルの最初の多言語経験比較を行っている。
単言語設定では、単言語BERTモデルが一般的に支配的であり、依存解析タスクなどいくつかの例外があるが、大規模なコーパスで訓練されたELMoモデルと競合しない。
言語横断的な設定では、BERTモデルは少数の言語でのみ訓練され、非常に多言語なBERTモデルと密接に関連している。
関連論文リスト
- L3Cube-IndicSBERT: A simple approach for learning cross-lingual sentence
representations using multilingual BERT [0.7874708385247353]
SBERT (Multilingual Sentence-BERT) モデルは、異なる言語を共通表現空間にマッピングする。
合成コーパスを用いたバニラ多言語BERTモデルから多言語文BERTモデルへ変換する手法を提案する。
多言語BERTモデルは本質的に言語間学習者であり、この単純なベースライン微調整アプローチは、例外的な言語間特性をもたらす。
論文 参考訳（メタデータ） (2023-04-22T15:45:40Z) - High-resource Language-specific Training for Multilingual Neural Machine
Translation [109.31892935605192]
負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。
具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。
HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
論文 参考訳（メタデータ） (2022-07-11T14:33:13Z) - Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。
この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
論文 参考訳（メタデータ） (2021-03-24T16:20:02Z) - How Good is Your Tokenizer? On the Monolingual Performance of
Multilingual Language Models [96.32118305166412]
本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。
多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
論文 参考訳（メタデータ） (2020-12-31T14:11:00Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳（メタデータ） (2020-12-31T11:37:28Z) - Towards Fully Bilingual Deep Language Modeling [1.3455090151301572]
両言語のパフォーマンスを損なうことなく、2つの遠隔関連言語に対してバイリンガルモデルを事前学習することが可能かを検討する。
フィンランド英語のバイリンガルBERTモデルを作成し、対応するモノリンガルモデルを評価するために使用されるデータセットの性能を評価する。
我々のバイリンガルモデルは、GLUE上のGoogleのオリジナル英語BERTと同等に動作し、フィンランドのNLPタスクにおける単言語フィンランドBERTのパフォーマンスとほぼ一致します。
論文 参考訳（メタデータ） (2020-10-22T12:22:50Z) - Evaluating Multilingual BERT for Estonian [0.8057006406834467]
複数のNLPタスクにおいて,多言語BERT,多言語蒸留BERT,XLM,XLM-RoBERTaの4つのモデルを評価する。
この結果から,多言語BERTモデルはエストニアの異なるNLPタスクでうまく一般化できることが示唆された。
論文 参考訳（メタデータ） (2020-10-01T14:48:31Z) - Multilingual Translation with Extensible Multilingual Pretraining and
Finetuning [77.33262578776291]
これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。
多言語翻訳モデルは多言語微調整により作成可能であることを示す。
事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
論文 参考訳（メタデータ） (2020-08-02T05:36:55Z) - Mono vs Multilingual Transformer-based Models: a Comparison across
Several Language Tasks [1.2691047660244335]
BERT (Bidirectional Representations from Transformers) と ALBERT (A Lite BERT) は、言語モデルの事前学習方法である。
ポルトガルでトレーニングされたBERTとAlbertモデルを利用可能にしています。
論文 参考訳（メタデータ） (2020-07-19T19:13:20Z) - FinEst BERT and CroSloEngual BERT: less is more in multilingual models [0.0]
うち1つはフィンランド語、エストニア語、英語で、もう1つはクロアチア語、スロベニア語、英語で訓練します。
多言語BERTとXLM-Rをベースラインとして,NER,POSタグ,依存性解析などの下流タスクの性能評価を行った。
新しいFinEst BERTとCroSloEngual BERTは、ほとんどのモノリンガルおよびクロスランガルな状況において、すべてのタスクの結果を改善した。
論文 参考訳（メタデータ） (2020-06-14T12:54:01Z) - A Study of Cross-Lingual Ability and Language-specific Information in
Multilingual BERT [60.9051207862378]
Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。
データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。
多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
論文 参考訳（メタデータ） (2020-04-20T11:13:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。