論文の概要: Improved Meta Learning for Low Resource Speech Recognition

• arxiv url: http://arxiv.org/abs/2205.06182v1
• Date: Wed, 11 May 2022 15:50:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-13 13:05:41.014867
• Title: Improved Meta Learning for Low Resource Speech Recognition
• Title（参考訳）: 低リソース音声認識のためのメタ学習の改善
• Authors: Satwinder Singh, Ruili Wang, Feng Hou
• Abstract要約: 本稿では,従来のモデルメタ学習(MAML)アプローチを改善した低リソース音声認識のためのメタ学習に基づく新しいフレームワークを提案する。 提案システムは,文字誤り率や安定した訓練行動の観点から,MAMLに基づく低リソースASRシステムよりも優れている。
• 参考スコア（独自算出の注目度）: 15.612232220719653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new meta learning based framework for low resource speech recognition that improves the previous model agnostic meta learning (MAML) approach. The MAML is a simple yet powerful meta learning approach. However, the MAML presents some core deficiencies such as training instabilities and slower convergence speed. To address these issues, we adopt multi-step loss (MSL). The MSL aims to calculate losses at every step of the inner loop of MAML and then combines them with a weighted importance vector. The importance vector ensures that the loss at the last step has more importance than the previous steps. Our empirical evaluation shows that MSL significantly improves the stability of the training procedure and it thus also improves the accuracy of the overall system. Our proposed system outperforms MAML based low resource ASR system on various languages in terms of character error rates and stable training behavior.
• Abstract（参考訳）: 本稿では,従来のモデル非依存メタ学習(MAML)アプローチを改善する低リソース音声認識のための新しいメタ学習フレームワークを提案する。 MAMLはシンプルだが強力なメタ学習アプローチである。 しかし、MAMLは、トレーニング不安定性や収束速度の遅いといったいくつかのコア欠陥を提示する。 これらの問題に対処するために、我々はマルチステップロス(MSL)を採用する。 MSLは、MAMLの内ループの各ステップにおける損失を計算し、重み付けされた重要ベクトルと組み合わせることを目的としている。 重要なベクトルは、最後のステップでの損失が前のステップよりも重要であることを保証します。 実験により,MSLはトレーニング手順の安定性を著しく向上し,システム全体の精度も向上することが示された。 提案方式は,MAMLに基づく低リソースASRシステムにおいて,文字誤り率や安定した訓練行動で性能を向上する。

関連論文リスト

• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Sharp-MAML: Sharpness-Aware Model-Agnostic Meta Learning [71.26635165491105]
  我々はシャープ・MAMLと呼ぶシャープネスを意識したMAMLアプローチを開発した。 Sharp-MAMLとその計算効率が,既存のMAMLベースラインより優れていることを実証的に実証した。 これは、二段階学習の文脈において、シャープネスを意識した最小化に関する最初の経験的および理論的研究である。
  論文  参考訳（メタデータ） (2022-06-08T16:20:11Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning [23.135033752967598]
  そこで本研究では,事前学習済みmamlチェックポイントを新たに提案する手法を提案する。 潜在的分布ミスマッチのため、元のMAMLステップはもはや最適ではないかもしれない。 本稿では,代替メタテスト手法を提案し,逆行訓練と不確実性に基づくステップ適応を組み合わせる。
  論文  参考訳（メタデータ） (2021-03-16T12:53:09Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)
• La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
  オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。 La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
  論文  参考訳（メタデータ） (2020-07-27T23:07:01Z)
• Weighted Meta-Learning [21.522768804834616]
  モデルに依存しないメタラーニング(MAML)のような多くの一般的なメタラーニングアルゴリズムは、微調整のためにターゲットサンプルへのアクセスのみを前提としている。 本研究では、異なるソースタスクの損失の重み付けに基づくメタ学習のための一般的なフレームワークを提供する。 重み付きMAMLアルゴリズムを含む経験的IPMに関する誤差を最小化する学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-03-20T19:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。