論文の概要: XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation

• arxiv url: http://arxiv.org/abs/2104.07412v1
• Date: Thu, 15 Apr 2021 12:26:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:16:12.704827
• Title: XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation
• Title（参考訳）: XTREME-R: より密着した多言語評価を目指して
• Authors: Sebastian Ruder, Noah Constant, Jan Botha, Aditya Siddhant, Orhan Firat, Jinlan Fu, Pengfei Liu, Junjie Hu, Graham Neubig, Melvin Johnson
• Abstract要約: 本稿では,言語間移動学習の現状を解析する。 XTREMEを10種類の自然言語理解タスクからなるXTREME-Rに拡張する。
• 参考スコア（独自算出の注目度）: 93.80733419450225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning has brought striking advances in multilingual natural language processing capabilities over the past year. For example, the latest techniques have improved the state-of-the-art performance on the XTREME multilingual benchmark by more than 13 points. While a sizeable gap to human-level performance remains, improvements have been easier to achieve in some tasks than in others. This paper analyzes the current state of cross-lingual transfer learning and summarizes some lessons learned. In order to catalyze meaningful progress, we extend XTREME to XTREME-R, which consists of an improved set of ten natural language understanding tasks, including challenging language-agnostic retrieval tasks, and covers 50 typologically diverse languages. In addition, we provide a massively multilingual diagnostic suite and fine-grained multi-dataset evaluation capabilities through an interactive public leaderboard to gain a better understanding of such models.
• Abstract（参考訳）: 機械学習は、過去1年間に多言語自然言語処理機能に顕著な進歩をもたらした。 例えば、最新の技術はXTREMEマルチ言語ベンチマークの最先端性能を13ポイント以上改善した。 人レベルのパフォーマンスに対する大きなギャップは残っているが、いくつかのタスクでは、他のタスクよりも改善が簡単になっている。 本稿では,言語間移動学習の現状を分析し,いくつかの教訓を要約する。 XTREME を XTREME-R に拡張し,言語に依存しない検索タスクを含む 10 個の自然言語理解タスクを改良し,50 種類の言語をカバーした。 さらに,対話型公開リーダボードを通じて,多言語診断スイートと詳細なマルチデータセット評価機能を提供し,そのようなモデルの理解を深める。

関連論文リスト

• BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
  本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。 コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
  論文  参考訳（メタデータ） (2023-05-24T08:06:33Z)
• Not All Languages Are Created Equal in LLMs: Improving Multilingual Capability by Cross-Lingual-Thought Prompting [123.16452714740106]
  大規模言語モデル(LLM)は印象的な多言語機能を示すが、その性能は言語によって大きく異なる。 XLT (cross-lingual- Thought prompting) という,シンプルで効果的な方法を提案する。 XLTは汎用テンプレートプロンプトで、言語間および論理的推論スキルを刺激し、言語間のタスクパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2023-05-11T17:44:17Z)
• XNLI 2.0: Improving XNLI dataset and performance on Cross Lingual Understanding (XLU) [0.0]
  我々は、XNLIに存在する14の言語すべてでMNLIデータセットを再翻訳することで、元のXNLIデータセットの改善に注力する。 また、15言語すべてでモデルを訓練し、自然言語推論のタスクでそれらの性能を分析する実験を行った。
  論文  参考訳（メタデータ） (2023-01-16T17:24:57Z)
• The Impact of Cross-Lingual Adjustment of Contextual Word Representations on Zero-Shot Transfer [3.300216758849348]
  mBERTやXLM-Rのような大規模な多言語言語モデルは、様々なIRやNLPタスクにおいてゼロショットの言語間転送を可能にする。 そこで本研究では,mBERTの並列コーパスを用いた言語間相互調整のためのデータ・計算効率向上手法を提案する。 類型的に多様な言語(スペイン語、ロシア語、ベトナム語、ヒンディー語)を実験し、その実装を新しいタスクに拡張する。 NER, XSR, 言語間QAを改良した4言語でのNLIの再生ゲインについて検討した。
  論文  参考訳（メタデータ） (2022-04-13T15:28:43Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• Syntax-augmented Multilingual BERT for Cross-lingual Transfer [37.99210035238424]
  この研究は、言語構文とトレーニングmBERTを明示的に提供することが、言語間転送に役立つことを示している。 実験の結果,mBERTの構文拡張は,一般的なベンチマーク上での言語間移動を改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-03T21:12:50Z)
• X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering [55.57776147848929]
  自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。 我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。 提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
  論文  参考訳（メタデータ） (2021-04-20T00:13:35Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。