論文の概要: AmericasNLI: Evaluating Zero-shot Natural Language Understanding of
Pretrained Multilingual Models in Truly Low-resource Languages
- arxiv url: http://arxiv.org/abs/2104.08726v1
- Date: Sun, 18 Apr 2021 05:32:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 14:09:05.468182
- Title: AmericasNLI: Evaluating Zero-shot Natural Language Understanding of
Pretrained Multilingual Models in Truly Low-resource Languages
- Title（参考訳）: AmericasNLI: 完全低リソース言語における事前訓練された多言語モデルのゼロショット自然言語理解の評価
- Authors: Abteen Ebrahimi, Manuel Mager, Arturo Oncevay, Vishrav Chaudhary, Luis
Chiruzzo, Angela Fan, John Ortega, Ricardo Ramos, Annette Rios, Ivan
Vladimir, Gustavo A. Gim\'enez-Lugo, Elisabeth Mager, Graham Neubig, Alexis
Palmer, Rolando A. Coto Solano, Ngoc Thang Vu and Katharina Kann
- Abstract要約: 我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。
は、アメリカ大陸の10の原住民の言語である。
XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。
XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
- 参考スコア（独自算出の注目度）: 75.08199398141744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pretrained multilingual models are able to perform cross-lingual transfer in
a zero-shot setting, even for languages unseen during pretraining. However,
prior work evaluating performance on unseen languages has largely been limited
to low-level, syntactic tasks, and it remains unclear if zero-shot learning of
high-level, semantic tasks is possible for unseen languages. To explore this
question, we present AmericasNLI, an extension of XNLI (Conneau et al., 2018)
to 10 indigenous languages of the Americas. We conduct experiments with XLM-R,
testing multiple zero-shot and translation-based approaches. Additionally, we
explore model adaptation via continued pretraining and provide an analysis of
the dataset by considering hypothesis-only models. We find that XLM-R's
zero-shot performance is poor for all 10 languages, with an average performance
of 38.62%. Continued pretraining offers improvements, with an average accuracy
of 44.05%. Surprisingly, training on poorly translated data by far outperforms
all other methods with an accuracy of 48.72%.
- Abstract（参考訳）: 事前学習中に見つからない言語であっても、事前訓練された多言語モデルはゼロショット設定で言語間移動を行うことができる。
しかし、未確認言語の性能を評価する以前の作業は、ほとんど低レベルな構文的タスクに限られており、未確認言語で高レベルなセマンティックタスクのゼロショット学習が可能かどうかは不明である。
この問題を探求するため、XNLI(Conneau et al., 2018)をアメリカ大陸の10の先住民言語に拡張したAmericesNLIを紹介した。
我々はXLM-Rで実験を行い、複数のゼロショットと翻訳に基づくアプローチをテストする。
さらに,事前学習の継続を通じてモデル適応を探索し,仮説のみを考慮に入れてデータセットの解析を行う。
xlm-rのゼロショット性能は10言語すべてで貧弱であり、平均パフォーマンスは38.62%である。
継続事前訓練は平均44.05%の精度で改善されている。
驚くべきことに、低翻訳データのトレーニングは48.72%の精度で他の方法よりも優れている。
関連論文リスト
- Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
言語間移動は多言語NLPにおける中心的なタスクである。
このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。
ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
論文 参考訳（メタデータ） (2023-09-19T19:30:56Z) - Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual
Understanding With Multilingual Language Models [95.32691891392903]
本稿では,プロンプトチューニングを用いた様々なNLUタスクの言語間評価を行い,それを微調整と比較する。
その結果, アクシデントチューニングは, データセット間の微調整よりもはるかに優れた言語間移動を実現することがわかった。
論文 参考訳（メタデータ） (2022-10-22T05:48:02Z) - Robustification of Multilingual Language Models to Real-world Noise with
Robust Contrastive Pretraining [14.087882550564169]
ノイズの多いデータに基づいてニューラルモデルのロバスト性を評価し,改良は英語に限られていることを示唆する。
事前訓練された多言語モデルの性能をベンチマークするために、5つの言語と4つのNLPタスクをカバーするノイズの多いデータセットを構築した。
本稿では,多言語事前学習モデルのゼロショット言語間ロバスト性を高めるために,ロバストコントラスト事前学習(RCP)を提案する。
論文 参考訳（メタデータ） (2022-10-10T15:40:43Z) - Few-shot Learning with Multilingual Language Models [66.49496434282564]
多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。
私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。
本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
論文 参考訳（メタデータ） (2021-12-20T16:52:35Z) - Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。
文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文 参考訳（メタデータ） (2021-09-16T03:08:22Z) - Boosting Cross-Lingual Transfer via Self-Learning with Uncertainty
Estimation [34.97086123805344]
最近の多言語事前訓練型言語モデルは、目覚ましいゼロショット性能を実現している。
対象言語のラベルのないデータをさらに活用する自己学習フレームワークを提案する。
我々は,NER(Nond Entity Recognition)とNLI(Natural Language Inference)の2つの言語間タスクについて,40言語を網羅した不確実性で評価した。
論文 参考訳（メタデータ） (2021-09-01T05:26:46Z) - Probing Multilingual Language Models for Discourse [0.0]
XLM-RoBERTaファミリーのモデルが常に最高のパフォーマンスを示していることが分かりました。
また, モデル蒸留は, 文表現の言語間移動能力に悪影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-09T06:34:21Z) - Bilingual Alignment Pre-training for Zero-shot Cross-lingual Transfer [33.680292990007366]
本稿では,埋め込みの整合性を向上し,ゼロショットの言語間転送性能を向上させることを目的とする。
本稿では,従来の知識として統計アライメント情報を用いて,バイリンガル単語予測を導出するアライメント言語モデル(Alignment Language Model, AlignLM)を提案する。
その結果、AlignLMはMLQAおよびXNLIデータセット上でゼロショット性能を大幅に改善できることが示された。
論文 参考訳（メタデータ） (2021-06-03T10:18:43Z) - Self-Learning for Zero Shot Neural Machine Translation [13.551731309506874]
本研究は、並列データを共有するピボット言語を仮定せずに学習するゼロショットNMTモデリング手法を提案する。
教師なしNMTと比較して、ドメインミスマッチ設定でも一貫した改善が観察される。
論文 参考訳（メタデータ） (2021-03-10T09:15:19Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2020-04-29T14:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。