論文の概要: X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering

• arxiv url: http://arxiv.org/abs/2104.09696v1
• Date: Tue, 20 Apr 2021 00:13:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 02:21:27.454900
• Title: X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering
• Title（参考訳）: X-METRA-ADA:自然言語理解と質問応答への言語間メタトランスファー学習適応
• Authors: Meryem M'hamdi, Doo Soon Kim, Franck Dernoncourt, Trung Bui, Xiang Ren, and Jonathan May
• Abstract要約: 自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。 我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。 提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
• 参考スコア（独自算出の注目度）: 55.57776147848929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual models, such as M-BERT and XLM-R, have gained increasing popularity, due to their zero-shot cross-lingual transfer learning capabilities. However, their generalization ability is still inconsistent for typologically diverse languages and across different benchmarks. Recently, meta-learning has garnered attention as a promising technique for enhancing transfer learning under low-resource scenarios: particularly for cross-lingual transfer in Natural Language Understanding (NLU). In this work, we propose X-METRA-ADA, a cross-lingual MEta-TRAnsfer learning ADAptation approach for NLU. Our approach adapts MAML, an optimization-based meta-learning approach, to learn to adapt to new languages. We extensively evaluate our framework on two challenging cross-lingual NLU tasks: multilingual task-oriented dialog and typologically diverse question answering. We show that our approach outperforms naive fine-tuning, reaching competitive performance on both tasks for most languages. Our analysis reveals that X-METRA-ADA can leverage limited data for faster adaptation.
• Abstract（参考訳）: M-BERTやXLM-Rのような多言語モデルは、ゼロショットのクロスリンガル変換学習能力によって人気が高まっている。 しかし、それらの一般化能力は、タイポロジー的に多様な言語と異なるベンチマーク間では相容れない。 近年,メタラーニングは,低リソースシナリオ(特に自然言語理解における言語間変換(NLU))において,トランスファーラーニングを向上するための有望な手法として注目されている。 本研究では,NLUのための言語横断型メタトランシュファー学習アプローチであるX-METRA-ADAを提案する。 我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。 我々は,多言語タスク指向の対話と,類型的に多様な質問応答という,難易度の高い2つのNLUタスクに関する枠組みを広く評価した。 提案手法は難解な微調整に優れており,ほとんどの言語において両タスクの競合性能に到達している。 解析の結果,X-METRA-ADAは限られたデータを利用してより高速な適応が可能であることが判明した。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Cross-lingual Lifelong Learning [53.06904052325966]
  本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。 マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。 この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
  論文  参考訳（メタデータ） (2022-05-23T09:25:43Z)
• XLM-K: Improving Cross-Lingual Language Model Pre-Training with Multilingual Knowledge [31.765178013933134]
  言語間事前学習は単言語とバイリンガルの平文コーパスを用いて大きな成功を収めた。 本稿では,事前学習に多言語知識を取り入れた言語間言語モデルXLM-Kを提案する。
  論文  参考訳（メタデータ） (2021-09-26T11:46:20Z)
• Learning Multilingual Representation for Natural Language Understanding with Enhanced Cross-Lingual Supervision [42.724921817550516]
  そこで本稿では,MAの代替として,DA(Decomposed attention)というネットワークを提案する。 DAは言語内注意(IA)と言語間注意(CA)から構成されており、それぞれ言語内および言語間監督をモデル化している。 様々な言語間自然言語理解タスクの実験により、提案したアーキテクチャと学習戦略がモデルの言語間移動性を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2021-06-09T16:12:13Z)
• XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation [93.80733419450225]
  本稿では,言語間移動学習の現状を解析する。 XTREMEを10種類の自然言語理解タスクからなるXTREME-Rに拡張する。
  論文  参考訳（メタデータ） (2021-04-15T12:26:12Z)
• Meta-learning for fast cross-lingual adaptation in dependency parsing [16.716440467483096]
  言語間依存関係解析のタスクにモデル非依存のメタラーニングを適用する。 事前学習によるメタ学習は,言語伝達の性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-04-10T11:10:16Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Zero-Shot Cross-Lingual Transfer with Meta Learning [45.29398184889296]
  英語以外の言語ではほとんど、あるいは全くデータがない場合に、複数の言語でのトレーニングモデルの設定を同時に検討する。 メタラーニングを用いて、この挑戦的な設定にアプローチできることが示される。 我々は、標準教師付きゼロショットのクロスランガルと、異なる自然言語理解タスクのための数ショットのクロスランガル設定を用いて実験を行った。
  論文  参考訳（メタデータ） (2020-03-05T16:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。