論文の概要: UNIT-DSR: Dysarthric Speech Reconstruction System Using Speech Unit Normalization

• arxiv url: http://arxiv.org/abs/2401.14664v1
• Date: Fri, 26 Jan 2024 06:08:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-29 16:05:38.525895
• Title: UNIT-DSR: Dysarthric Speech Reconstruction System Using Speech Unit Normalization
• Title（参考訳）: unit-dsr: 音声単位正規化を用いたdysarthric speech reconstruction system
• Authors: Yuejiao Wang, Xixin Wu, Disong Wang, Lingwei Meng, Helen Meng
• Abstract要約: 変形性音声再構成システムは、変形性音声を正常な音声に変換することを目的としている。 本稿では,HuBERTのドメイン適応能力を活用して学習効率を向上させるユニットDSRシステムを提案する。 NEDアプローチと比較すると、ユニットDSRシステムは音声単位正規化器とユニットHiFi-GANボコーダのみで構成されている。
• 参考スコア（独自算出の注目度）: 60.43992089087448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dysarthric speech reconstruction (DSR) systems aim to automatically convert dysarthric speech into normal-sounding speech. The technology eases communication with speakers affected by the neuromotor disorder and enhances their social inclusion. NED-based (Neural Encoder-Decoder) systems have significantly improved the intelligibility of the reconstructed speech as compared with GAN-based (Generative Adversarial Network) approaches, but the approach is still limited by training inefficiency caused by the cascaded pipeline and auxiliary tasks of the content encoder, which may in turn affect the quality of reconstruction. Inspired by self-supervised speech representation learning and discrete speech units, we propose a Unit-DSR system, which harnesses the powerful domain-adaptation capacity of HuBERT for training efficiency improvement and utilizes speech units to constrain the dysarthric content restoration in a discrete linguistic space. Compared with NED approaches, the Unit-DSR system only consists of a speech unit normalizer and a Unit HiFi-GAN vocoder, which is considerably simpler without cascaded sub-modules or auxiliary tasks. Results on the UASpeech corpus indicate that Unit-DSR outperforms competitive baselines in terms of content restoration, reaching a 28.2% relative average word error rate reduction when compared to original dysarthric speech, and shows robustness against speed perturbation and noise.
• Abstract（参考訳）: dysarthric speech reconstruction (dsr)システムは、dysarthric speechを正常な音声に自動変換することを目的としている。 この技術は、神経運動障害の影響を受ける話者とのコミュニケーションを容易化し、社会的包摂性を高める。 ned-based (neural encoder-decoder) システムはgan-based (generative adversarial network) アプローチと比較して, 再構成音声の理解性を大幅に向上させたが, カスケードパイプラインとコンテンツエンコーダの補助タスクによる非効率の訓練によって制限され, コンテントエンコーダのクオリティに影響を及ぼす可能性がある。 自己教師型音声表現学習と離散音声単位に着想を得て,HuBERTのドメイン適応能力を活用して学習効率を向上させるユニットDSRシステムを提案する。 nedアプローチと比較して、unit-dsrシステムは音声単位正規化器と単位hifi-ganボコーダのみで構成されており、これはカスケードされたサブモジュールや補助タスクなしでかなり単純である。 UASpeech corpus の結果は、Unit-DSR がコンテンツ復元において競争ベースラインより優れており、元来の変形音声と比較して28.2%の平均単語誤り率の低下に達し、速度の摂動やノイズに対する堅牢性を示していることを示している。

関連論文リスト

• CoLM-DSR: Leveraging Neural Codec Language Modeling for Multi-Modal Dysarthric Speech Reconstruction [61.067153685104394]
  変形性音声再建(DSR)は、変形性音声を正常な音声に変換することを目的としている。 話者の類似度は低く、プロソディの自然度は低い。 本稿では、ニューラルネットワークモデリングを利用して再構成結果を改善するマルチモーダルDSRモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-12T15:42:21Z)
• Accurate synthesis of Dysarthric Speech for ASR data augmentation [5.223856537504927]
  Dysarthria は運動性発声障害であり、しばしば発声能力の低下を特徴とする。 本稿では,ASRトレーニングデータ拡張を目的とした新しい音声合成法を提案する。
  論文  参考訳（メタデータ） (2023-08-16T15:42:24Z)
• Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition [57.15942628305797]
  調音機能は音響信号歪みに不変であり、正常音声の自動音声認識システムにうまく組み込まれている。 本稿では,15時間 TORGO コーパスの並列音響・調音データをモデルトレーニングに用いるクロスドメイン音響・調音(A2A)インバージョン手法を提案する。 クロスドメインは102.7時間のUASpeechコーパスに適応し、調音的特徴を生産する。
  論文  参考訳（メタデータ） (2022-03-19T08:47:18Z)
• Synthesizing Dysarthric Speech Using Multi-talker TTS for Dysarthric Speech Recognition [4.637732011720613]
  Dysarthria は運動性発声障害であり、しばしば発声能力の低下を特徴とする。 頑健な変形性障害に対処するためには,十分な訓練音声が必要である。 テキスト音声合成の最近の進歩は、データ拡張に合成を利用する可能性を示している。
  論文  参考訳（メタデータ） (2022-01-27T15:22:09Z)
• Recent Progress in the CUHK Dysarthric Speech Recognition System [66.69024814159447]
  障害音声は、現在のデータ集約型ディープニューラルネットワーク(DNN)に基づく自動音声認識技術に対して、幅広い課題を提示している。 本稿では,香港の中国大学における音声認識システムの性能向上に向けた最近の研究成果について述べる。
  論文  参考訳（メタデータ） (2022-01-15T13:02:40Z)
• Investigation of Data Augmentation Techniques for Disordered Speech Recognition [69.50670302435174]
  本稿では,不規則音声認識のための一連のデータ拡張手法について検討する。 正常な音声と無秩序な音声の両方が増強過程に利用された。 UASpeechコーパスを用いた最終話者適応システムと、最大2.92%の絶対単語誤り率(WER)の速度摂動に基づく最良の拡張アプローチ
  論文  参考訳（メタデータ） (2022-01-14T17:09:22Z)
• Spectro-Temporal Deep Features for Disordered Speech Assessment and Recognition [65.25325641528701]
  音声スペクトルのSVD分解による深い特徴を埋め込んだ新しいスペクトル時空間ベースを提案する。 UASpeechコーパスで行った実験では、提案された分光時間深部特徴適応システムは、データ拡張の有無にかかわらず、ワードエラー率(WER)を最大263%(相対8.6%)削減することで、ベースラインi-適応を一貫して上回ったことが示唆された。
  論文  参考訳（メタデータ） (2022-01-14T16:56:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。