論文の概要: Zero-Shot Cross-Lingual Transfer with Meta Learning

• arxiv url: http://arxiv.org/abs/2003.02739v4
• Date: Mon, 5 Oct 2020 13:18:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 07:10:12.341960
• Title: Zero-Shot Cross-Lingual Transfer with Meta Learning
• Title（参考訳）: メタ学習によるゼロショット言語間移動
• Authors: Farhad Nooralahzadeh, Giannis Bekoulis, Johannes Bjerva, Isabelle Augenstein
• Abstract要約: 英語以外の言語ではほとんど、あるいは全くデータがない場合に、複数の言語でのトレーニングモデルの設定を同時に検討する。 メタラーニングを用いて、この挑戦的な設定にアプローチできることが示される。 我々は、標準教師付きゼロショットのクロスランガルと、異なる自然言語理解タスクのための数ショットのクロスランガル設定を用いて実験を行った。
• 参考スコア（独自算出の注目度）: 45.29398184889296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning what to share between tasks has been a topic of great importance recently, as strategic sharing of knowledge has been shown to improve downstream task performance. This is particularly important for multilingual applications, as most languages in the world are under-resourced. Here, we consider the setting of training models on multiple different languages at the same time, when little or no data is available for languages other than English. We show that this challenging setup can be approached using meta-learning, where, in addition to training a source language model, another model learns to select which training instances are the most beneficial to the first. We experiment using standard supervised, zero-shot cross-lingual, as well as few-shot cross-lingual settings for different natural language understanding tasks (natural language inference, question answering). Our extensive experimental setup demonstrates the consistent effectiveness of meta-learning for a total of 15 languages. We improve upon the state-of-the-art for zero-shot and few-shot NLI (on MultiNLI and XNLI) and QA (on the MLQA dataset). A comprehensive error analysis indicates that the correlation of typological features between languages can partly explain when parameter sharing learned via meta-learning is beneficial.
• Abstract（参考訳）: ダウンストリームのタスクパフォーマンスを改善するために知識の戦略的共有が示されているため、タスク間で何を共有すべきかを学ぶことは近年非常に重要になっている。 これは多言語アプリケーションにとって特に重要であり、世界中のほとんどの言語はリソース不足である。 ここでは、英語以外の言語ではほとんど、あるいは全くデータがない場合に、複数の異なる言語でのトレーニングモデルの設定を同時に検討する。 この挑戦的なセットアップはメタラーニングを使ってアプローチできることを示し、ソース言語モデルのトレーニングに加えて、他のモデルが最初に最も有益なトレーニングインスタンスを選択することを学ぶ。 自然言語理解タスク (自然言語推論, 質問応答) に対して, 標準教師あり, ゼロショットクロスリンガル, および少数ショットクロスリンガル設定を用いて実験を行った。 広範な実験により,15言語を対象としたメタラーニングの有効性が実証された。 我々はゼロショットと少数ショットNLI(MultiNLIとXNLI)とQA(MLQAデータセット)の最先端性を改善した。 包括的エラー分析は、メタラーニングによって学習されたパラメータ共有が有益である場合、言語間のタイプ論的特徴の相関が部分的に説明できることを示している。

関連論文リスト

• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Languages You Know Influence Those You Learn: Impact of Language Characteristics on Multi-Lingual Text-to-Text Transfer [4.554080966463776]
  マルチ言語モデル (LM) は低リソース言語での自然言語処理の実現に成功している。 このようなモデル、特にmT5は、言語間の言語的および意味的な知識をどう転送するかをよりよく理解しようとしています。 この研究の鍵となる発見は、構文、形態学、音韻学の類似性が言語間移動のよい予測因子であることである。
  論文  参考訳（メタデータ） (2022-12-04T07:22:21Z)
• Cross-lingual Lifelong Learning [53.06904052325966]
  本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。 マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。 この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
  論文  参考訳（メタデータ） (2022-05-23T09:25:43Z)
• Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation [11.155430893354769]
  本稿では,類型的に多様な言語から共有可能な構造を学習するためのメタラーニングフレームワークを提案する。 まず、まず言語表現に基づいて言語をクラスタ化し、各クラスタのセントロイド言語を識別する。 メタ学習アルゴリズムは、全てのセントロイド言語で訓練され、ゼロショット設定で他の言語で評価される。
  論文  参考訳（メタデータ） (2022-03-19T05:22:07Z)
• Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer [3.299672391663527]
  我々は、最先端の多言語モデルを分析し、言語間の良い伝達に何が影響するかを判断する。 また,特定の構文特徴を見ることは,構文的類似性の集合よりも,性能予測に2～4倍有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-12T21:22:58Z)
• X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering [55.57776147848929]
  自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。 我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。 提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
  論文  参考訳（メタデータ） (2021-04-20T00:13:35Z)
• Meta-learning for fast cross-lingual adaptation in dependency parsing [16.716440467483096]
  言語間依存関係解析のタスクにモデル非依存のメタラーニングを適用する。 事前学習によるメタ学習は,言語伝達の性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-04-10T11:10:16Z)
• Meta-Learning for Effective Multi-task and Multilingual Modelling [23.53779501937046]
  タスクと言語間の相互作用を学ぶためのメタラーニング手法を提案する。 我々は、XTREME多言語ベンチマークデータセットから5つの異なるタスクと6つの異なる言語に関する実験を提示する。
  論文  参考訳（メタデータ） (2021-01-25T19:30:26Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。