論文の概要: Continually learning new languages
- arxiv url: http://arxiv.org/abs/2211.11703v1
- Date: Mon, 21 Nov 2022 18:24:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 22:29:52.970107
- Title: Continually learning new languages
- Title(参考訳): 新しい言語を継続的に学ぶ
- Authors: Ngoc-Quan Pham, Jan Niehues, Alexander Waibel
- Abstract要約: 言語のバッチ学習は経済的に有益だが、大きな課題は破滅的な忘れ方だ。
我々は,破滅的な忘れを抑えるために,重み分解,伝達学習,弾性重み統合の特質を組み合わせる。
- 参考スコア(独自算出の注目度): 81.0475211743228
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual speech recognition with neural networks is often implemented
with batch-learning, when all of the languages are available before training.
An ability to add new languages after the prior training sessions can be
economically beneficial, but the main challenge is catastrophic forgetting. In
this work, we combine the qualities of weight factorization, transfer learning
and Elastic Weight Consolidation in order to counter catastrophic forgetting
and facilitate learning new languages quickly. Such combination allowed us to
eliminate catastrophic forgetting while still achieving performance for the new
languages comparable with having all languages at once, in experiments of
learning from an initial 10 languages to achieve 27 languages
- Abstract(参考訳): ニューラルネットワークを用いた多言語音声認識は、トレーニング前にすべての言語が利用できる場合、バッチ学習で実装されることが多い。
事前のトレーニングセッション後に新しい言語を追加することは経済的に有益であるが、大きな課題は破滅的な忘れである。
本研究では, 重み分解, 伝達学習, および弾性重み統合を組み合わせて, 破滅的な忘れ込みに対処し, 新たな言語を素早く学習できるようにする。
このような組み合わせによって、最初の10言語から学び、27言語を達成する実験において、すべての言語を同時に持つのに匹敵する新しい言語のパフォーマンスを保ちながら、破滅的な忘れをなくすことができたのです。
関連論文リスト
- Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - Comparison of Multilingual Self-Supervised and Weakly-Supervised Speech
Pre-Training for Adaptation to Unseen Languages [40.41642013737395]
近年のXLS-RやWhisperのようなモデルでは、約100の言語から音声を事前学習することで、多言語音声技術がより使いやすくなっている。
事前学習中に見つからない言語にどのモデルを適応させるかを理解することを目的としている。
13の見知らぬ言語と18の見つからない言語で、両方のモデルを微調整します。
論文 参考訳(メタデータ) (2023-05-21T23:53:12Z) - Language Chameleon: Transformation analysis between languages using
Cross-lingual Post-training based on Pre-trained language models [4.731313022026271]
本研究では,1つの低リソース言語に着目し,言語横断後学習(XPT)を用いた広範囲な評価と探索実験を行う。
結果から,XPTは桁違いのデータ量で訓練された単言語モデルに匹敵する性能を示した。
論文 参考訳(メタデータ) (2022-09-14T05:20:52Z) - Bitext Mining Using Distilled Sentence Representations for Low-Resource
Languages [12.00637655338665]
私たちは、非常に低リソースの言語を研究し、50のアフリカ言語を扱っています。
我々は文エンコーダ、マイニングビットクストを訓練し、NMTシステムのトレーニングによりビットクストを検証する。
これらの言語では、文エンコーダ、ビットクストをマイニングし、NMTシステムのトレーニングによってビットクストを検証する。
論文 参考訳(メタデータ) (2022-05-25T10:53:24Z) - Phylogeny-Inspired Adaptation of Multilingual Models to New Languages [43.62238334380897]
我々は、言語系統情報を用いて、密接に関連する言語を活用する言語間移動を改善する方法を示す。
我々は,多言語(ゲルマン語,ウルリック語,トゥピ語,ウト・アステカン語)の言語をアダプタベースで学習し,構文的・意味的タスクの評価を行う。
論文 参考訳(メタデータ) (2022-05-19T15:49:19Z) - Marvelous Agglutinative Language Effect on Cross Lingual Transfer
Learning [6.15560473113783]
類似言語構造を持つ言語を使用することは,言語間移動学習に有効であることが知られている。
韓国語などの凝集言語の使用は、言語間移動学習においてより効果的であることを示す。
論文 参考訳(メタデータ) (2022-04-08T04:04:45Z) - Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。
元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
論文 参考訳(メタデータ) (2021-10-20T10:38:57Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳(メタデータ) (2021-09-01T09:32:06Z) - Efficient Weight factorization for Multilingual Speech Recognition [67.00151881207792]
エンドツーエンドの多言語音声認識は、多くの言語を含む合成音声コーパスで単一のモデルトレーニングを使用する。
トレーニングデータの各言語には異なる特徴があるため、共有ネットワークは、すべての言語を同時に最適化するのに苦労する可能性がある。
ニューラルネットワークのコア動作をターゲットとした新しい多言語アーキテクチャを提案する:線形変換関数。
論文 参考訳(メタデータ) (2021-05-07T00:12:02Z) - That Sounds Familiar: an Analysis of Phonetic Representations Transfer
Across Languages [72.9927937955371]
我々は、他言語に存在するリソースを用いて、多言語自動音声認識モデルを訓練する。
我々は,多言語設定における全言語間での大幅な改善と,多言語設定におけるスターク劣化を観察した。
分析の結果、ひとつの言語に固有の電話でさえ、他の言語からのトレーニングデータを追加することで大きなメリットがあることがわかった。
論文 参考訳(メタデータ) (2020-05-16T22:28:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。