Fugu-MT 論文翻訳(概要): Meta-learning for fast cross-lingual adaptation in dependency parsing

論文の概要: Meta-learning for fast cross-lingual adaptation in dependency parsing

arxiv url: http://arxiv.org/abs/2104.04736v2
Date: Tue, 13 Apr 2021 16:10:40 GMT
ステータス: 処理完了
システム内更新日: 2021-04-14 11:16:23.909310
Title: Meta-learning for fast cross-lingual adaptation in dependency parsing
Title（参考訳）: 依存関係解析における高速言語間適応のためのメタラーニング
Authors: Anna Langedijk, Verna Dankers, Phillip Lippe, Sander Bos, Bryan Cardenas Guevara, Helen Yannakoudakis, Ekaterina Shutova
Abstract要約: 言語間依存関係解析のタスクにモデル非依存のメタラーニングを適用する。事前学習によるメタ学習は,言語伝達の性能を大幅に向上させることができる。
参考スコア（独自算出の注目度）: 16.716440467483096
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Meta-learning, or learning to learn, is a technique that can help to overcome resource scarcity in cross-lingual NLP problems, by enabling fast adaptation to new tasks. We apply model-agnostic meta-learning (MAML) to the task of cross-lingual dependency parsing. We train our model on a diverse set of languages to learn a parameter initialization that can adapt quickly to new languages. We find that meta-learning with pre-training can significantly improve upon the performance of language transfer and standard supervised learning baselines for a variety of unseen, typologically diverse, and low-resource languages, in a few-shot learning setup.
Abstract（参考訳）: メタラーニング(meta-learning)は、言語間nlp問題におけるリソース不足を克服するために、新しいタスクへの迅速な適応を可能にするテクニックである。言語間依存関係解析のタスクにモデル非依存型メタラーニング(maml)を適用する。我々は、新しい言語に迅速に適応できるパラメータ初期化を学ぶために、多様な言語でモデルを訓練する。事前学習によるメタラーニングは,多種多様・多種多様・低リソースな言語に対して,言語伝達性能と標準教師あり学習ベースラインを大幅に向上させることができる。

関連論文リスト

Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文参考訳（メタデータ） (2023-06-13T08:08:08Z)
On the cross-lingual transferability of multilingual prototypical models across NLU tasks [2.44288434255221]
教師付きディープラーニングベースのアプローチはタスク指向のダイアログに適用され、限られたドメインや言語アプリケーションに有効であることが証明されている。実際には、これらのアプローチはドメイン駆動設計とアンダーリソース言語の欠点に悩まされている。本稿では,原型ニューラルネットワークと多言語トランスフォーマーモデルを用いた相乗的少数ショット学習の言語間変換可能性について検討する。
論文参考訳（メタデータ） (2022-07-19T09:55:04Z)
Adaptive Activation Network For Low Resource Multilingual Speech Recognition [30.460501537763736]
ASRモデルの上位層に適応的アクティベーションネットワークを導入する。また,(1)クロス言語学習,(2)アクティベーション関数をソース言語からターゲット言語に置き換える,(2)多言語学習という2つの手法を提案する。 IARPA Babelデータセットに関する実験により、我々のアプローチは、オフスクラッチトレーニングや従来のボトルネック機能に基づく手法よりも優れていることを示した。
論文参考訳（メタデータ） (2022-05-28T04:02:59Z)
Cross-lingual Lifelong Learning [53.06904052325966]
本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
論文参考訳（メタデータ） (2022-05-23T09:25:43Z)
X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering [55.57776147848929]
自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
論文参考訳（メタデータ） (2021-04-20T00:13:35Z)
MetaXL: Meta Representation Transformation for Low-resource Cross-lingual Learning [91.5426763812547]
言語間移動学習は低リソース言語のための機能的NLPシステムを構築するための最も効果的な方法の1つである。 MetaXLは、メタラーニングベースのフレームワークで、表現を補助言語からターゲット言語にジャッジに変換することを学ぶ。
論文参考訳（メタデータ） (2021-04-16T06:15:52Z)
Multilingual Transfer Learning for Code-Switched Language and Speech Neural Modeling [12.497781134446898]
本稿では,言語非依存なマルチタスク学習手法を提案することにより,言語理論のデータ不足と限界に対処する。まず,メタラーニングに基づくメタトランスファー学習を提案する。そこでは,高音源単言語音声データから,コードスイッチング領域への情報抽出を行う。第2に,他の言語で学習した有用な知識を得ることにより,コードスイッチングデータを効果的に表現するための,多言語メタエム手法を提案する。第3に,言語モデルへの伝達学習戦略として構文情報を統合するために,マルチタスク学習を導入する。
論文参考訳（メタデータ） (2021-04-13T14:49:26Z)
Multilingual and cross-lingual document classification: A meta-learning approach [24.66829920826166]
本稿では,文書分類におけるメタラーニング手法を提案する。提案手法の有効性は2つの設定で示される:少数ショット,未確認言語への言語間適応,多言語共同訓練である。
論文参考訳（メタデータ） (2021-01-27T10:22:56Z)
UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文参考訳（メタデータ） (2020-12-31T11:37:28Z)
Zero-Shot Cross-Lingual Transfer with Meta Learning [45.29398184889296]
英語以外の言語ではほとんど、あるいは全くデータがない場合に、複数の言語でのトレーニングモデルの設定を同時に検討する。メタラーニングを用いて、この挑戦的な設定にアプローチできることが示される。我々は、標準教師付きゼロショットのクロスランガルと、異なる自然言語理解タスクのための数ショットのクロスランガル設定を用いて実験を行った。
論文参考訳（メタデータ） (2020-03-05T16:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。