論文の概要: Towards continually learning new languages

• arxiv url: http://arxiv.org/abs/2211.11703v4
• Date: Wed, 17 Jul 2024 21:56:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-20 00:32:05.315382
• Title: Towards continually learning new languages
• Title（参考訳）: 新しい言語を継続的に学習する
• Authors: Ngoc-Quan Pham, Jan Niehues, Alexander Waibel,
• Abstract要約: 言語のバッチ学習は経済的に有益だが、大きな課題は破滅的な忘れ方だ。 我々は,破滅的忘れを抑えるために,重量分解特性と弾性重みの固化特性を組み合わせる。 私たちは、すべての言語をゼロからトレーニングするのに比べ、破滅的な忘れものもなく、合理的なパフォーマンスで26の言語を達成しています。
• 参考スコア（独自算出の注目度）: 66.36852845415916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual speech recognition with neural networks is often implemented with batch-learning, when all of the languages are available before training. An ability to add new languages after the prior training sessions can be economically beneficial, but the main challenge is catastrophic forgetting. In this work, we combine the qualities of weight factorization and elastic weight consolidation in order to counter catastrophic forgetting and facilitate learning new languages quickly. Such combination allowed us to eliminate catastrophic forgetting while still achieving performance for the new languages comparable with having all languages at once, in experiments of learning from an initial 10 languages to achieve 26 languages without catastrophic forgetting and a reasonable performance compared to training all languages from scratch.
• Abstract（参考訳）: ニューラルネットワークを用いた多言語音声認識は、トレーニング前にすべての言語が利用できる場合、バッチ学習で実装されることが多い。 事前のトレーニングセッション後に新しい言語を追加することは経済的に有益であるが、大きな課題は破滅的な忘れである。 本研究は,破滅的な忘れ込みに対処し,新しい言語を素早く習得するために,重量分解特性と弾性重み付け特性を組み合わせたものである。 このような組み合わせによって、破滅的な忘れを排除しつつ、すべての言語に匹敵するパフォーマンスを達成することができました。最初の10言語から学び、破滅的な忘れをせずに26言語を達成する実験と、すべての言語をゼロからトレーニングするよりも合理的なパフォーマンスです。

関連論文リスト

• No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
  本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
  論文  参考訳（メタデータ） (2024-04-24T08:52:40Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Comparison of Multilingual Self-Supervised and Weakly-Supervised Speech Pre-Training for Adaptation to Unseen Languages [40.41642013737395]
  近年のXLS-RやWhisperのようなモデルでは、約100の言語から音声を事前学習することで、多言語音声技術がより使いやすくなっている。 事前学習中に見つからない言語にどのモデルを適応させるかを理解することを目的としている。 13の見知らぬ言語と18の見つからない言語で、両方のモデルを微調整します。
  論文  参考訳（メタデータ） (2023-05-21T23:53:12Z)
• Parameter-Efficient Finetuning for Robust Continual Multilingual Learning [15.823345795987237]
  連続多言語学習(CML)問題の導入と研究 事前訓練された多言語モデルは、ステージに到達した新しいデータを使用して定期的に更新される。 もし新しいデータが言語のサブセットにのみ存在する場合、得られたモデルは最新の更新に含まれる言語でのみ性能が向上し、残りの言語でのパフォーマンスは大幅に低下する。 LAFT-URIELは,モデルが更新後に改善する言語の数を増やすことを目的とした,パラメータ効率の高い微調整戦略である。
  論文  参考訳（メタデータ） (2022-09-14T16:45:13Z)
• Language Chameleon: Transformation analysis between languages using Cross-lingual Post-training based on Pre-trained language models [4.731313022026271]
  本研究では,1つの低リソース言語に着目し,言語横断後学習(XPT)を用いた広範囲な評価と探索実験を行う。 結果から,XPTは桁違いのデータ量で訓練された単言語モデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2022-09-14T05:20:52Z)
• Phylogeny-Inspired Adaptation of Multilingual Models to New Languages [43.62238334380897]
  我々は、言語系統情報を用いて、密接に関連する言語を活用する言語間移動を改善する方法を示す。 我々は,多言語(ゲルマン語,ウルリック語,トゥピ語,ウト・アステカン語)の言語をアダプタベースで学習し,構文的・意味的タスクの評価を行う。
  論文  参考訳（メタデータ） (2022-05-19T15:49:19Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• That Sounds Familiar: an Analysis of Phonetic Representations Transfer Across Languages [72.9927937955371]
  我々は、他言語に存在するリソースを用いて、多言語自動音声認識モデルを訓練する。 我々は,多言語設定における全言語間での大幅な改善と,多言語設定におけるスターク劣化を観察した。 分析の結果、ひとつの言語に固有の電話でさえ、他の言語からのトレーニングデータを追加することで大きなメリットがあることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T22:28:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。