論文の概要: Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation

• arxiv url: http://arxiv.org/abs/2407.06310v1
• Date: Mon, 8 Jul 2024 18:20:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 22:13:05.961656
• Title: Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation
• Title（参考訳）: 変形性膝関節症と高齢者の話者適応のための一様話者特徴
• Authors: Mengzhe Geng, Xurong Xie, Jiajun Deng, Zengrui Jin, Guinan Li, Tianzi Wang, Shujie Hu, Zhaoqing Li, Helen Meng, Xunying Liu,
• Abstract要約: 本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。 話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。 テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
• 参考スコア（独自算出の注目度）: 71.31331402404662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The application of data-intensive automatic speech recognition (ASR) technologies to dysarthric and elderly adult speech is confronted by their mismatch against healthy and nonaged voices, data scarcity and large speaker-level variability. To this end, this paper proposes two novel data-efficient methods to learn homogeneous dysarthric and elderly speaker-level features for rapid, on-the-fly test-time adaptation of DNN/TDNN and Conformer ASR models. These include: 1) speaker-level variance-regularized spectral basis embedding (VR-SBE) features that exploit a special regularization term to enforce homogeneity of speaker features in adaptation; and 2) feature-based learning hidden unit contributions (f-LHUC) transforms that are conditioned on VR-SBE features. Experiments are conducted on four tasks across two languages: the English UASpeech and TORGO dysarthric speech datasets, the English DementiaBank Pitt and Cantonese JCCOCC MoCA elderly speech corpora. The proposed on-the-fly speaker adaptation techniques consistently outperform baseline iVector and xVector adaptation by statistically significant word or character error rate reductions up to 5.32% absolute (18.57% relative) and batch-mode LHUC speaker adaptation by 2.24% absolute (9.20% relative), while operating with real-time factors speeding up to 33.6 times against xVectors during adaptation. The efficacy of the proposed adaptation techniques is demonstrated in a comparison against current ASR technologies including SSL pre-trained systems on UASpeech, where our best system produces a state-of-the-art WER of 23.33%. Analyses show VR-SBE features and f-LHUC transforms are insensitive to speaker-level data quantity in testtime adaptation. T-SNE visualization reveals they have stronger speaker-level homogeneity than baseline iVectors, xVectors and batch-mode LHUC transforms.
• Abstract（参考訳）: データ集約型自動音声認識(ASR)技術は, 健常者, 非高齢者, データ不足者, および話者レベルの大きな多様性に対する不一致に直面している。 そこで本研究では,DNN/TDNNモデルとConformer ASRモデルの高速かつオンザフライなテストタイム適応のための,同質な顎関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。 以下を含む。 1)適応時の話者特徴の均一性を強制するために特別な正規化項を利用する話者レベル分散規則化スペクトルベース埋め込み(VR-SBE)機能 2)VR-SBE機能に規定された特徴ベース学習隠れユニットコントリビューション(f-LHUC)トランスフォーメーション。 The English UASpeech and TORGO dysarthric speech datasets, the English DementiaBank Pitt and Cantonese JCCOCC MoCA elderly speechcorpora。 提案したオンザフライ話者適応技術は、統計的に有意な単語や文字の誤り率を5.32%まで減少させ、バッチモードのLHUC話者適応を2.24%まで(9.20%の相対)、適応中にxVectorsに対して最大33.6倍の速さでリアルタイムに動作させることにより、ベースラインiVectorとxVector適応を一貫して上回っている。 提案手法の有効性は,UASpeech上のSSL事前訓練システムを含む現在のASR技術との比較において実証された。 分析によると、VR-SBE機能とf-LHUC変換は、テストタイム適応時の話者レベルのデータ量に敏感である。 T-SNE可視化は、ベースラインiVectors、xVectors、バッチモードLHUC変換よりも話者レベルの均一性が高いことを示した。

関連論文リスト

• Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
  調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。 本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。 生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
  論文  参考訳（メタデータ） (2022-06-15T07:20:28Z)
• Personalized Adversarial Data Augmentation for Dysarthric and Elderly Speech Recognition [30.885165674448352]
  本稿では,高齢者および変形性音声認識のための新しい話者依存型(GAN)に基づくデータ拡張手法を提案する。 GANベースのデータ拡張アプローチは、ベースライン速度摂動法を最大0.91%、絶対値3.0%で一貫して上回っている。 LHUCベースの話者適応を適用した後、一貫性のある性能改善が維持される。
  論文  参考訳（メタデータ） (2022-05-13T04:29:49Z)
• On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition [53.17176024917725]
  話者レベルのデータの共有化は、データ集約型モデルに基づく話者適応手法の実用的利用を制限する。 本稿では,2種類のデータ効率,特徴量に基づくオンザフライ話者適応手法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T09:12:24Z)
• Speaker Adaptation Using Spectro-Temporal Deep Features for Dysarthric and Elderly Speech Recognition [48.33873602050463]
  話者適応技術は、そのようなユーザのためのASRシステムのパーソナライズに重要な役割を果たしている。 変形性関節症、高齢者、および正常音声の分光時間差による動機づけ SVD音声スペクトルを用いた新しい分光時空間ベース深層埋め込み
  論文  参考訳（メタデータ） (2022-02-21T15:11:36Z)
• Investigation of Data Augmentation Techniques for Disordered Speech Recognition [69.50670302435174]
  本稿では,不規則音声認識のための一連のデータ拡張手法について検討する。 正常な音声と無秩序な音声の両方が増強過程に利用された。 UASpeechコーパスを用いた最終話者適応システムと、最大2.92%の絶対単語誤り率(WER)の速度摂動に基づく最良の拡張アプローチ
  論文  参考訳（メタデータ） (2022-01-14T17:09:22Z)
• Spectro-Temporal Deep Features for Disordered Speech Assessment and Recognition [65.25325641528701]
  音声スペクトルのSVD分解による深い特徴を埋め込んだ新しいスペクトル時空間ベースを提案する。 UASpeechコーパスで行った実験では、提案された分光時間深部特徴適応システムは、データ拡張の有無にかかわらず、ワードエラー率(WER)を最大263%(相対8.6%)削減することで、ベースラインi-適応を一貫して上回ったことが示唆された。
  論文  参考訳（メタデータ） (2022-01-14T16:56:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。