論文の概要: Cross-lingual Lifelong Learning
- arxiv url: http://arxiv.org/abs/2205.11152v2
- Date: Fri, 29 Dec 2023 04:07:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 03:18:55.980055
- Title: Cross-lingual Lifelong Learning
- Title（参考訳）: 言語間の生涯学習
- Authors: Meryem M'hamdi, Xiang Ren, and Jonathan May
- Abstract要約: 本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。
マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。
この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
- 参考スコア（独自算出の注目度）: 53.06904052325966
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The longstanding goal of multi-lingual learning has been to develop a
universal cross-lingual model that can withstand the changes in multi-lingual
data distributions. There has been a large amount of work to adapt such
multi-lingual models to unseen target languages. However, the majority of work
in this direction focuses on the standard one-hop transfer learning pipeline
from source to target languages, whereas in realistic scenarios, new languages
can be incorporated at any time in a sequential manner. In this paper, we
present a principled Cross-lingual Continual Learning (CCL) evaluation
paradigm, where we analyze different categories of approaches used to
continually adapt to emerging data from different languages. We provide
insights into what makes multilingual sequential learning particularly
challenging. To surmount such challenges, we benchmark a representative set of
cross-lingual continual learning algorithms and analyze their knowledge
preservation, accumulation, and generalization capabilities compared to
baselines on carefully curated datastreams. The implications of this analysis
include a recipe for how to measure and balance different cross-lingual
continual learning desiderata, which go beyond conventional transfer learning.
- Abstract（参考訳）: 多言語学習の長年の目標は、多言語データ分布の変化に耐えられる普遍的な言語横断モデルを開発することである。
このような多言語モデルを、見当たらないターゲット言語に適応させる作業は、数多く行われてきた。
しかし、この方向のほとんどの研究は、ソースからターゲット言語への標準のワンホップ転送学習パイプラインに焦点を当てているが、現実的なシナリオでは、新しい言語を逐次的に組み込むことができる。
本稿では,言語間連続学習(ccl)の評価パラダイムを提案する。そこでは,異なる言語からの新たなデータに継続的に適応するためのアプローチのカテゴリを分析する。
マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。
このような課題を克服するために,言語間連続学習アルゴリズムの代表的なセットをベンチマークし,注意深く収集されたデータストリームのベースラインと比較して,その知識の保存,蓄積,一般化能力を分析する。
この分析の意味は、従来の転帰学習を超えて、異なる言語間連続学習のデシダラタを測り、バランスをとる方法のレシピを含む。
関連論文リスト
- Zero-shot Cross-lingual Transfer Learning with Multiple Source and Target Languages for Information Extraction: Language Selection and Adversarial Training [38.19963761398705]
本稿では,近年のIEコーパスにおける多言語多言語変換可能性(多言語間移動学習)に関する詳細な解析を行う。
まず、単一言語のパフォーマンスと幅広い言語に基づく距離の相関について検討する。
次に,複数の言語が学習・評価プロセスに関与している,より一般的なゼロショット多言語転送設定について検討する。
論文 参考訳（メタデータ） (2024-11-13T17:13:25Z) - Are Structural Concepts Universal in Transformer Language Models?
Towards Interpretable Cross-Lingual Generalization [27.368684663279463]
本稿では,言語間の概念対応を明確に整合させ,言語間の一般化を促進する可能性について検討する。
言語構文の側面をテストベッドとして,43言語を解析した結果,高い整合性を示した。
本稿では,メタラーニングに基づく概念空間の整合学習手法を提案する。
論文 参考訳（メタデータ） (2023-10-19T14:50:51Z) - On the cross-lingual transferability of multilingual prototypical models
across NLU tasks [2.44288434255221]
教師付きディープラーニングベースのアプローチはタスク指向のダイアログに適用され、限られたドメインや言語アプリケーションに有効であることが証明されている。
実際には、これらのアプローチはドメイン駆動設計とアンダーリソース言語の欠点に悩まされている。
本稿では,原型ニューラルネットワークと多言語トランスフォーマーモデルを用いた相乗的少数ショット学習の言語間変換可能性について検討する。
論文 参考訳（メタデータ） (2022-07-19T09:55:04Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-05-24T03:35:00Z) - Cross-Lingual Language Model Meta-Pretraining [21.591492094502424]
異なる学習段階における2つの能力について学習する言語間メタプレトレーニングを提案する。
本手法は一般化と言語間移動を両立させ,様々な言語にまたがる表現の整合性を向上する。
論文 参考訳（メタデータ） (2021-09-23T03:47:44Z) - X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural
Language Understanding and Question Answering [55.57776147848929]
自然言語理解のための言語横断型メタトランシュファー学習アプローチX-METRA-ADAを提案する。
我々のアプローチは、最適化に基づくメタ学習アプローチであるMAMLに適応し、新しい言語に適応することを学ぶ。
提案手法は難易度の高い微調整に優れており,ほとんどの言語において両タスクの競合性能に到達していることを示す。
論文 参考訳（メタデータ） (2021-04-20T00:13:35Z) - Cross-lingual Spoken Language Understanding with Regularized
Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。
言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2020-09-30T08:56:53Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳（メタデータ） (2020-04-30T16:25:39Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳（メタデータ） (2020-03-24T19:09:37Z) - Zero-Shot Cross-Lingual Transfer with Meta Learning [45.29398184889296]
英語以外の言語ではほとんど、あるいは全くデータがない場合に、複数の言語でのトレーニングモデルの設定を同時に検討する。
メタラーニングを用いて、この挑戦的な設定にアプローチできることが示される。
我々は、標準教師付きゼロショットのクロスランガルと、異なる自然言語理解タスクのための数ショットのクロスランガル設定を用いて実験を行った。
論文 参考訳（メタデータ） (2020-03-05T16:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。