論文の概要: Towards Lifelong Learning of End-to-end ASR

• arxiv url: http://arxiv.org/abs/2104.01616v1
• Date: Sun, 4 Apr 2021 13:48:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 14:30:34.466269
• Title: Towards Lifelong Learning of End-to-end ASR
• Title（参考訳）: エンドツーエンドASRの生涯学習に向けて
• Authors: Heng-Jui Chang, Hung-yi Lee, Lin-shan Lee
• Abstract要約: lifelong learningは、マシンが新しいデータセットから新しいタスクをシーケンシャルに学習できるようにすることを目的としている。 WERの28.7%の相対的な減少は、3つの非常に異なるベンチマークコーポラを順次学習する場合の微調整ベースラインと比較して達成された。
• 参考スコア（独自算出の注目度）: 81.15661413476221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic speech recognition (ASR) technologies today are primarily optimized for given datasets; thus, any changes in the application environment (e.g., acoustic conditions or topic domains) may inevitably degrade the performance. We can collect new data describing the new environment and fine-tune the system, but this naturally leads to higher error rates for the earlier datasets, referred to as catastrophic forgetting. The concept of lifelong learning (LLL) aiming to enable a machine to sequentially learn new tasks from new datasets describing the changing real world without forgetting the previously learned knowledge is thus brought to attention. This paper reports, to our knowledge, the first effort to extensively consider and analyze the use of various approaches of LLL in end-to-end (E2E) ASR, including proposing novel methods in saving data for past domains to mitigate the catastrophic forgetting problem. An overall relative reduction of 28.7% in WER was achieved compared to the fine-tuning baseline when sequentially learning on three very different benchmark corpora. This can be the first step toward the highly desired ASR technologies capable of synchronizing with the continuously changing real world.
• Abstract（参考訳）: 現在の自動音声認識(asr)技術は、主に所定のデータセットに最適化されており、アプリケーション環境の変化(例えば音響条件やトピック領域)は、必然的に性能を低下させる可能性がある。 新しい環境を記述した新しいデータを収集し、システムを微調整するが、これは自然に、破滅的な忘れ物と呼ばれる以前のデータセットのエラー率を高める。 機械が学習した知識を忘れずに実世界の変化を記述した新しいデータセットから、連続的に新しいタスクを学習できるようにすることを目的とした生涯学習(LLL)の概念が注目される。 本稿では,過去ドメインのデータ保存における新たな手法を提案するなど,エンド・ツー・エンド(E2E)ASRにおけるLLLの様々なアプローチを広く検討・分析するための最初の取り組みについて報告する。 WERの相対的な28.7%の減少は、3つの非常に異なるベンチマークコーパスで逐次学習する際の微調整ベースラインと比較して達成された。 これは、継続的に変化する現実世界と同期できる非常に望ましいasr技術への第一歩となるかもしれない。

関連論文リスト

• Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
  生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。 DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。 私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
  論文  参考訳（メタデータ） (2024-10-17T04:00:29Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Few-Shot Class-Incremental Learning from an Open-Set Perspective [10.898784938875702]
  FSCIL(Few-Shot Class-Incremental Learning)の重要な課題と,その極端なデータ不足状況について検討する。 ALICEでは、一般的に使用されるクロスエントロピー損失の代わりに、角のペナルティ損失を用いて、適切にクラスタリングされた特徴を得る方法を提案する。 CIFAR100、miniImageNet、CUB200といったベンチマークデータセットの実験では、ALICEのパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2022-07-30T05:42:48Z)
• Training With Data Dependent Dynamic Learning Rates [8.833548357664608]
  本稿では,インスタンス間の損失関数特性の違いを考慮に入れた最適化フレームワークを提案する。 我々のフレームワークはデータセットに存在する各インスタンスの動的学習率を学習する。 我々のフレームワークは、機械学習モデルのパーソナライズに、既知のターゲットデータ分布に対して使用できることを示す。
  論文  参考訳（メタデータ） (2021-05-27T21:52:29Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。