論文の概要: Overcoming Catastrophic Forgetting in Massively Multilingual Continual Learning

• arxiv url: http://arxiv.org/abs/2305.16252v1
• Date: Thu, 25 May 2023 17:06:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 13:43:12.050736
• Title: Overcoming Catastrophic Forgetting in Massively Multilingual Continual Learning
• Title（参考訳）: 多言語連続学習におけるカタストロフィック・フォーミングの克服
• Authors: Genta Indra Winata, Lingjue Xie, Karthik Radhakrishnan, Shijie Wu, Xisen Jin, Pengxiang Cheng, Mayank Kulkarni, Daniel Preotiuc-Pietro
• Abstract要約: 最大51の言語を含む多言語連続学習フレームワークにおいて、破滅的な忘れ方や、これを最小限に抑える方法について検討する。 本稿では,学習率スケジューリング手法であるLR ADJUSTについて述べる。
• 参考スコア（独自算出の注目度）: 34.034825754625935
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Real-life multilingual systems should be able to efficiently incorporate new languages as data distributions fed to the system evolve and shift over time. To do this, systems need to handle the issue of catastrophic forgetting, where the model performance drops for languages or tasks seen further in its past. In this paper, we study catastrophic forgetting, as well as methods to minimize this, in a massively multilingual continual learning framework involving up to 51 languages and covering both classification and sequence labeling tasks. We present LR ADJUST, a learning rate scheduling method that is simple, yet effective in preserving new information without strongly overwriting past knowledge. Furthermore, we show that this method is effective across multiple continual learning approaches. Finally, we provide further insights into the dynamics of catastrophic forgetting in this massively multilingual setup.
• Abstract（参考訳）: 実生活の多言語システムは、システムが進化し、時間とともに変化するデータ分散として、新しい言語を効率的に取り入れることができるべきである。 これを行うには,過去に見られる言語やタスクのモデルパフォーマンスが低下する,破滅的な忘れの問題に対処する必要がある。 本稿では,最大51の言語を含む多言語連続学習フレームワークにおいて,破滅的忘れを最小化すると同時に,分類とシーケンスラベリングの両方を網羅する手法について検討する。 本稿では,過去の知識を強引に上書きすることなく,新しい情報を保存するのに有効な学習率スケジューリング手法であるlr adjustを提案する。 さらに,この手法が複数の連続学習手法において有効であることを示す。 最後に、この膨大な多言語設定における破滅的忘れのダイナミクスに関するさらなる洞察を提供する。

関連論文リスト

• No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
  本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
  論文  参考訳（メタデータ） (2024-04-24T08:52:40Z)
• Orthogonal Subspace Learning for Language Model Continual Learning [45.35861158925975]
  O-LoRAは、言語モデルにおける継続学習のためのシンプルで効率的なアプローチである。 提案手法は,パラメータの余分な追加コストのみを誘導し,再生にユーザデータストレージを必要としない。
  論文  参考訳（メタデータ） (2023-10-22T02:23:44Z)
• Towards continually learning new languages [66.36852845415916]
  言語のバッチ学習は経済的に有益だが、大きな課題は破滅的な忘れ方だ。 我々は,破滅的忘れを抑えるために,重量分解特性と弾性重みの固化特性を組み合わせる。 私たちは、すべての言語をゼロからトレーニングするのに比べ、破滅的な忘れものもなく、合理的なパフォーマンスで26の言語を達成しています。
  論文  参考訳（メタデータ） (2022-11-21T18:24:34Z)
• Parameter-Efficient Finetuning for Robust Continual Multilingual Learning [15.823345795987237]
  連続多言語学習(CML)問題の導入と研究 事前訓練された多言語モデルは、ステージに到達した新しいデータを使用して定期的に更新される。 もし新しいデータが言語のサブセットにのみ存在する場合、得られたモデルは最新の更新に含まれる言語でのみ性能が向上し、残りの言語でのパフォーマンスは大幅に低下する。 LAFT-URIELは,モデルが更新後に改善する言語の数を増やすことを目的とした,パラメータ効率の高い微調整戦略である。
  論文  参考訳（メタデータ） (2022-09-14T16:45:13Z)
• Cross-lingual Lifelong Learning [53.06904052325966]
  本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。 マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。 この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
  論文  参考訳（メタデータ） (2022-05-23T09:25:43Z)
• Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
  本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。 すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
  論文  参考訳（メタデータ） (2021-10-09T07:00:38Z)
• Multilingual and cross-lingual document classification: A meta-learning approach [24.66829920826166]
  本稿では,文書分類におけるメタラーニング手法を提案する。 提案手法の有効性は2つの設定で示される:少数ショット,未確認言語への言語間適応,多言語共同訓練である。
  論文  参考訳（メタデータ） (2021-01-27T10:22:56Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。