論文の概要: Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation

• arxiv url: http://arxiv.org/abs/2202.09082v1
• Date: Fri, 18 Feb 2022 08:59:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-21 14:16:15.727427
• Title: Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation
• Title（参考訳）: 逆行性話者適応による構音再建における話者同一性保存
• Authors: Disong Wang, Songxiang Liu, Xixin Wu, Hui Lu, Lifa Sun, Xunying Liu, Helen Meng
• Abstract要約: 変形性音声再建(DSR)は,変形性音声の品質向上を目的としている。 話者識別に最適化された話者エンコーダ (SE) について検討した。 我々は,新しいマルチタスク学習戦略,すなわち対人話者適応(ASA)を提案する。
• 参考スコア（独自算出の注目度）: 59.41186714127256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dysarthric speech reconstruction (DSR), which aims to improve the quality of dysarthric speech, remains a challenge, not only because we need to restore the speech to be normal, but also must preserve the speaker's identity. The speaker representation extracted by the speaker encoder (SE) optimized for speaker verification has been explored to control the speaker identity. However, the SE may not be able to fully capture the characteristics of dysarthric speakers that are previously unseen. To address this research problem, we propose a novel multi-task learning strategy, i.e., adversarial speaker adaptation (ASA). The primary task of ASA fine-tunes the SE with the speech of the target dysarthric speaker to effectively capture identity-related information, and the secondary task applies adversarial training to avoid the incorporation of abnormal speaking patterns into the reconstructed speech, by regularizing the distribution of reconstructed speech to be close to that of reference speech with high quality. Experiments show that the proposed approach can achieve enhanced speaker similarity and comparable speech naturalness with a strong baseline approach. Compared with dysarthric speech, the reconstructed speech achieves 22.3% and 31.5% absolute word error rate reduction for speakers with moderate and moderate-severe dysarthria respectively. Our demo page is released here: https://wendison.github.io/ASA-DSR-demo/
• Abstract（参考訳）: 変形性音声再建(DSR: Dysarthric Speech reconstruction)は, 変形性音声の質の向上を目的としているが, 音声を正常に復元するだけでなく, 話者のアイデンティティも維持する必要があるため, 課題である。 話者識別に最適化された話者エンコーダ(SE)によって抽出された話者表現について検討した。 しかし、SEは、これまで見えなかった変形性スピーカーの特徴を完全に捉えることができないかもしれない。 この課題に対処するため、我々は新しいマルチタスク学習戦略、すなわち、対人話者適応(ASA)を提案する。 ASAの第一のタスクは、ターゲットの変形話者の音声でSEを微調整し、識別関連情報を効果的に捕捉し、第二のタスクは、再構成された音声の分布を基準音声に近いものに調整することで、再構成された音声に異常な発声パターンを組み込まないよう敵の訓練を施す。 実験により,提案手法は,強いベースラインアプローチにより,話者の類似度と比較音声の自然性が向上することを示す。 再建された音声は、中等度者および中等度者に対して22.3%および31.5%の絶対単語誤り率をそれぞれ達成している。 私たちのデモページはこちらで公開されている。

関連論文リスト

• Use of Speech Impairment Severity for Dysarthric Speech Recognition [37.93801885333925]
  本稿では, 難易度と話者識別性を両立させる新しい手法を提案する。 UASpeechの実験では、最先端のハイブリッドDNN、E2E Conformer、事前訓練されたWav2vec 2.0 ASRシステムに音声障害の重大度を組み込むことが提案されている。
  論文  参考訳（メタデータ） (2023-05-18T02:42:59Z)
• Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition [15.136348385992047]
  本研究では, 変形性関節症に対するASRシステムの訓練機能として, Wav2Vec を用いた自己教師型音声表現の有用性について検討した。 我々は、Wav2Vec、Hubert、および言語間XLSRモデルから抽出された特徴を持つ音響モデルを訓練する。 結果から,大容量データに事前学習した音声表現は,単語誤り率(WER)を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-04-04T17:36:01Z)
• Speaker Adaptation Using Spectro-Temporal Deep Features for Dysarthric and Elderly Speech Recognition [48.33873602050463]
  話者適応技術は、そのようなユーザのためのASRシステムのパーソナライズに重要な役割を果たしている。 変形性関節症、高齢者、および正常音声の分光時間差による動機づけ SVD音声スペクトルを用いた新しい分光時空間ベース深層埋め込み
  論文  参考訳（メタデータ） (2022-02-21T15:11:36Z)
• Investigation of Data Augmentation Techniques for Disordered Speech Recognition [69.50670302435174]
  本稿では,不規則音声認識のための一連のデータ拡張手法について検討する。 正常な音声と無秩序な音声の両方が増強過程に利用された。 UASpeechコーパスを用いた最終話者適応システムと、最大2.92%の絶対単語誤り率(WER)の速度摂動に基づく最良の拡張アプローチ
  論文  参考訳（メタデータ） (2022-01-14T17:09:22Z)
• Comparing Supervised Models And Learned Speech Representations For Classifying Intelligibility Of Disordered Speech On Selected Phrases [11.3463024120429]
  提案手法は,選択したフレーズに対して,混乱した音声の理解度を分類するために,異なる深層学習手法を開発し,比較する。 各種自己申告障害を有する661人の話者から29の単語やフレーズを発話するサンプルを収集した。
  論文  参考訳（メタデータ） (2021-07-08T17:24:25Z)
• A Preliminary Study of a Two-Stage Paradigm for Preserving Speaker Identity in Dysarthric Voice Conversion [50.040466658605524]
  変形性音声変換(DVC)における話者同一性維持のための新しいパラダイムを提案する。 変形性音声の質は統計VCによって大幅に改善される。 しかし, 変形性関節症患者の通常の発話は, ほとんど収集できないため, 過去の研究は患者の個性を取り戻すことはできなかった。
  論文  参考訳（メタデータ） (2021-06-02T18:41:03Z)
• Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion [60.808838088376675]
  本稿では,明示的な韻律モデルと深層話者埋め込み学習を用いたVCシステムを提案する。 韻律補正器は音素埋め込みを取り入れ、典型的な音素持続時間とピッチ値を推定する。 変換モデルは、音素埋め込みと典型的な韻律特徴を入力として、変換された音声を生成する。
  論文  参考訳（メタデータ） (2020-11-03T13:08:53Z)
• Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam [100.95498268200777]
  SpeakerBeamは、ターゲット話者の適応発話を利用して、声の特徴を抽出する。 SpeakerBeamは、同じジェンダーのミキシングのように、話者が似たような音声特性を持つときに失敗することがある。 実験により、これらの戦略は、特に同性混合において、音声抽出性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2020-01-23T05:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。