Fugu-MT 論文翻訳(概要): Improving child speech recognition with augmented child-like speech

論文の概要: Improving child speech recognition with augmented child-like speech

arxiv url: http://arxiv.org/abs/2406.10284v1
Date: Wed, 12 Jun 2024 08:56:46 GMT
ステータス: 処理完了
システム内更新日: 2024-06-19 01:21:32.601424
Title: Improving child speech recognition with augmented child-like speech
Title（参考訳）: 強化型子音による子音認識の改善
Authors: Yuanyuan Zhang, Zhengjun Yue, Tanvina Patel, Odette Scharenborg,
Abstract要約: 言語間の子子間音声変換は、子どものASR性能を著しく改善した。最先端のASRは、子どものスピーチに最適なパフォーマンスを示す。
参考スコア（独自算出の注目度）: 20.709414063132627
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: State-of-the-art ASRs show suboptimal performance for child speech. The scarcity of child speech limits the development of child speech recognition (CSR). Therefore, we studied child-to-child voice conversion (VC) from existing child speakers in the dataset and additional (new) child speakers via monolingual and cross-lingual (Dutch-to-German) VC, respectively. The results showed that cross-lingual child-to-child VC significantly improved child ASR performance. Experiments on the impact of the quantity of child-to-child cross-lingual VC-generated data on fine-tuning (FT) ASR models gave the best results with two-fold augmentation for our FT-Conformer model and FT-Whisper model which reduced WERs with ~3% absolute compared to the baseline, and with six-fold augmentation for the model trained from scratch, which improved by an absolute 3.6% WER. Moreover, using a small amount of "high-quality" VC-generated data achieved similar results to those of our best-FT models.
Abstract（参考訳）: 最先端のASRは、子どものスピーチに最適なパフォーマンスを示す。チャイルドスピーチの不足は、チャイルド音声認識(CSR)の発達を制限する。そこで本研究では,既存の子話者の音声変換(VC)と,モノリンガルVCとクロスリンガルVC(Dutch-to-German)VCを併用した(新しい)子話者の追加について検討した。その結果,言語横断型VCは子どものASR成績を有意に改善した。 FT-ConformerモデルとFT-Whisperモデルでは,WERの絶対値がベースラインに比べて約3%減少し,スクラッチからトレーニングしたモデルでは6倍に向上し,絶対値3.6%向上した。さらに、少数の“高品質”なVC生成データを使用することで、最高のFTモデルと同じような結果が得られました。

関連論文リスト

Evaluation of state-of-the-art ASR Models in Child-Adult Interactions [27.30130353688078]
音声基礎モデルでは, 成人の発話と比較して, 子どもの発話に対する顕著な性能低下(15-20%絶対WER)がみられた。低資源環境下での微調整の有効性を探索するために,最良性能のゼロショットモデル(Whisper-large)にLoRAを用いる。
論文参考訳（メタデータ） (2024-09-24T14:42:37Z)
Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
本稿では,複数の改良を加えた多言語音声認識モデルを提案する。我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
論文参考訳（メタデータ） (2024-03-14T01:16:32Z)
A comparative analysis between Conformer-Transducer, Whisper, and wav2vec2 for improving the child speech recognition [2.965450563218781]
幼児音声におけるコンフォーマー・トランスデューサモデルの微調整は、児童音声におけるASR性能を大幅に向上させることを示す。また、Whisper と wav2vec2 を異なる子音声データセットに適応させる。
論文参考訳（メタデータ） (2023-11-07T19:32:48Z)
Disentangling Voice and Content with Self-Supervision for Speaker Recognition [57.446013973449645]
本稿では,音声における話者の特性と内容の変動を同時にモデル化するアンタングル化フレームワークを提案する。実験はVoxCelebとSITWのデータセットで実施され、EERとminDCFの平均減少率は9.56%と8.24%である。
論文参考訳（メタデータ） (2023-10-02T12:02:07Z)
Adaptation of Whisper models to child speech recognition [3.2548794659022398]
幼児音声におけるWhisperの微調整は、児童音声におけるASR性能を大幅に向上させることを示す。 Wav2vec2モデルは、子どものスピーチで微調整され、Whisperの微調整よりも優れています。
論文参考訳（メタデータ） (2023-07-24T12:54:45Z)
Automatic Speech Recognition of Non-Native Child Speech for Language Learning Applications [18.849741353784328]
我々は、最先端のASRシステムであるWav2Vec2.0とWhisper AIの性能を評価する。オランダ語母語,非母語母語母語,非母語母語母語,母語母語母語母語母語,母語母語母語母語母語,母語母語母語母語母語母語母語母語,母語母語母語母語母語母語母語母語,母語母語母語母語母語母語
論文参考訳（メタデータ） (2023-06-29T06:14:26Z)
From English to More Languages: Parameter-Efficient Model Reprogramming for Cross-Lingual Speech Recognition [50.93943755401025]
言語間音声認識のためのニューラルモデル再プログラミングに基づく新しいパラメータ効率学習フレームワークを提案する。我々は、学習可能な事前学習機能強化に焦点を当てた、異なる補助的ニューラルネットワークアーキテクチャを設計する。提案手法は,既存のASRチューニングアーキテクチャとその拡張性能を自己監督的損失で向上させる。
論文参考訳（メタデータ） (2023-01-19T02:37:56Z)
Transfer Learning for Robust Low-Resource Children's Speech ASR with Transformers and Source-Filter Warping [11.584388304271029]
本研究では,成人と子どもの発話の領域ギャップを埋めるために,音声のソースフィルタモデルに基づくデータ拡張手法を提案する。この拡張戦略を用いて、成人データに基づいて事前学習したTransformerモデルに転送学習を適用する。このモデルは、最近導入されたXLS-Rアーキテクチャ(wav2vec 2.0モデル)に従っている。
論文参考訳（メタデータ） (2022-06-19T12:57:47Z)
ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
論文参考訳（メタデータ） (2022-03-29T11:55:30Z)
LRSpeech: Extremely Low-Resource Speech Synthesis and Recognition [148.43282526983637]
データコストの低い言語のためのTLSおよびASRシステムであるLSpeechを開発した。実験言語(英語)と真の低リソース言語(リトアニア語)で実験を行い,LRSpeechの有効性を検証する。現在、より稀な言語でTSをサポートするために、商用のクラウド音声サービスにLSpeechをデプロイしています。
論文参考訳（メタデータ） (2020-08-09T08:16:33Z)
Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
論文参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。