論文の概要: Adversarial Meta Sampling for Multilingual Low-Resource Speech Recognition

• arxiv url: http://arxiv.org/abs/2012.11896v3
• Date: Mon, 12 Apr 2021 07:10:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 07:23:40.016141
• Title: Adversarial Meta Sampling for Multilingual Low-Resource Speech Recognition
• Title（参考訳）: 多言語低リソース音声認識のための逆メタサンプリング
• Authors: Yubei Xiao, Ke Gong, Pan Zhou, Guolin Zheng, Xiaodan Liang, Liang Lin
• Abstract要約: 多言語メタラーニングASR(MML-ASR)を改善するための新しい逆メタサンプリング(AMS)アプローチを開発しています。 AMSは、各ソース言語のタスクサンプリング確率を適応的に決定する。 MML-ASRにAMSを適用すると、2つの多言語データセットの実験結果が大幅にパフォーマンス向上します。
• 参考スコア（独自算出の注目度）: 159.9312272042253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-resource automatic speech recognition (ASR) is challenging, as the low-resource target language data cannot well train an ASR model. To solve this issue, meta-learning formulates ASR for each source language into many small ASR tasks and meta-learns a model initialization on all tasks from different source languages to access fast adaptation on unseen target languages. However, for different source languages, the quantity and difficulty vary greatly because of their different data scales and diverse phonological systems, which leads to task-quantity and task-difficulty imbalance issues and thus a failure of multilingual meta-learning ASR (MML-ASR). In this work, we solve this problem by developing a novel adversarial meta sampling (AMS) approach to improve MML-ASR. When sampling tasks in MML-ASR, AMS adaptively determines the task sampling probability for each source language. Specifically, for each source language, if the query loss is large, it means that its tasks are not well sampled to train ASR model in terms of its quantity and difficulty and thus should be sampled more frequently for extra learning. Inspired by this fact, we feed the historical task query loss of all source language domain into a network to learn a task sampling policy for adversarially increasing the current query loss of MML-ASR. Thus, the learnt task sampling policy can master the learning situation of each language and thus predicts good task sampling probability for each language for more effective learning. Finally, experiment results on two multilingual datasets show significant performance improvement when applying our AMS on MML-ASR, and also demonstrate the applicability of AMS to other low-resource speech tasks and transfer learning ASR approaches.
• Abstract（参考訳）: 低リソース自動音声認識(ASR)は、低リソースターゲット言語データがASRモデルを十分に訓練できないため、困難である。 この問題を解決するために、メタラーニングは、各ソース言語のASRを多数の小さなASRタスクに定式化し、メタラーニングは異なるソース言語から全てのタスクのモデル初期化を行い、未知のターゲット言語への高速適応にアクセスする。 しかし、異なるソース言語では、その量と難易度は、異なるデータスケールと多様な音韻学的システムによって大きく異なり、タスクの質とタスクの差異の不均衡の問題を引き起こし、多言語メタラーニングasr(mml-asr)の失敗に繋がる。 そこで本研究では,MML-ASRを改善するために,AMS (Adversarial Meta sample) アプローチを開発した。 MML-ASRでタスクをサンプリングする場合、AMSは各ソース言語のタスクサンプリング確率を適応的に決定する。 具体的には、各ソース言語に対して、クエリ損失が大きい場合、そのタスクはその量と難易度の観点からASRモデルをトレーニングするために十分にサンプリングされていないため、余分な学習のためにより頻繁にサンプリングすべきである。 この事実に触発されて、すべてのソース言語ドメインの履歴的タスククエリ損失をネットワークに入力し、MML-ASRの現在のクエリ損失を逆向きに増加させるタスクサンプリングポリシーを学習する。 これにより、学習したタスクサンプリングポリシーは各言語の学習状況を習得し、より効果的な学習を行うために各言語に対して良好なタスクサンプリング確率を予測することができる。 最後に、MML-ASRにAMSを適用する際の2つの多言語データセットの実験結果と、他の低リソース音声タスクへのAMSの適用性およびトランスファーラーニングASRアプローチの有効性を示す。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Master-ASR: Achieving Multilingual Scalability and Low-Resource Adaptation in ASR with Modular Learning [28.592569051244375]
  METHODNSは、強力な多言語スケーラビリティと低リソース適応性を同時に実現している。 我々のフレームワークは、最先端(SOTA)メソッドよりも30%少ない推論オーバーヘッドで、0.13$sim$2.41低い文字誤り率(CER)を達成する。
  論文  参考訳（メタデータ） (2023-06-23T16:23:00Z)
• Model-Agnostic Meta-Learning for Natural Language Understanding Tasks in Finance [1.863067234952186]
  低リソースの財務NLUタスクにおけるモデルに依存しないメタラーニングアルゴリズム(MAML)について検討する。 実験結果に基づき,本モデルによる最先端の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-06T02:24:48Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• Multilingual Speech Recognition using Knowledge Transfer across Learning Processes [15.927513451432946]
  実験結果から,WER全体の3.55%の相対的な減少が得られた。 LEAPとSSLの組み合わせにより、言語IDを使用する場合、WER全体の3.51%が相対的に減少する。
  論文  参考訳（メタデータ） (2021-10-15T07:50:27Z)
• ST-MAML: A Stochastic-Task based Method for Task-Heterogeneous Meta-Learning [12.215288736524268]
  本稿では,モデルに依存しないメタラーニング(MAML)を複数のタスク分布から学習するための新しい手法ST-MAMLを提案する。 そこで本研究では,ST-MAMLが2つの画像分類タスク,1つの曲線評価ベンチマーク,1つの画像補完問題,および実世界の温度予測アプリケーションにおいて,最先端の映像分類タスクに適合または優れることを示す。
  論文  参考訳（メタデータ） (2021-09-27T18:54:50Z)
• A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages [14.694800341598368]
  低リソース環境における形態素リッチ言語(MRL)の依存性解析に着目する。 これらの課題に対処するために,プリトレーニングのための簡単な補助タスクを提案する。 提案手法の有効性を評価するため,低リソース環境下で10個のMRL実験を行った。
  論文  参考訳（メタデータ） (2021-02-12T14:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。