論文の概要: Towards Inclusive ASR: Investigating Voice Conversion for Dysarthric Speech Recognition in Low-Resource Languages

• arxiv url: http://arxiv.org/abs/2505.14874v1
• Date: Tue, 20 May 2025 20:03:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.731855
• Title: Towards Inclusive ASR: Investigating Voice Conversion for Dysarthric Speech Recognition in Low-Resource Languages
• Title（参考訳）: 包括的ASRに向けて:低音源言語における変形型音声認識のための音声変換の検討
• Authors: Chin-Jou Li, Eunjung Yeo, Kwanghee Choi, Paula Andrea Pérez-Toro, Masao Someki, Rohan Kumar Das, Zhengjun Yue, Juan Rafael Orozco-Arroyave, Elmar Nöth, David R. Mortensen,
• Abstract要約: 音声変換モデルを英語の変形音声(UASpeech)に微調整し、話者特性と韻律歪みの両方を符号化する。 次に、健康な非英語音声(FLEURS)を非英語の変形性音声に変換する。 生成されたデータは、MMS(Massively Multilingually Speech)と呼ばれる多言語ASRモデルの微調整に使用される。
• 参考スコア（独自算出の注目度）: 32.61962553268565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic speech recognition (ASR) for dysarthric speech remains challenging due to data scarcity, particularly in non-English languages. To address this, we fine-tune a voice conversion model on English dysarthric speech (UASpeech) to encode both speaker characteristics and prosodic distortions, then apply it to convert healthy non-English speech (FLEURS) into non-English dysarthric-like speech. The generated data is then used to fine-tune a multilingual ASR model, Massively Multilingual Speech (MMS), for improved dysarthric speech recognition. Evaluation on PC-GITA (Spanish), EasyCall (Italian), and SSNCE (Tamil) demonstrates that VC with both speaker and prosody conversion significantly outperforms the off-the-shelf MMS performance and conventional augmentation techniques such as speed and tempo perturbation. Objective and subjective analyses of the generated data further confirm that the generated speech simulates dysarthric characteristics.
• Abstract（参考訳）: 変形性音声の自動音声認識(ASR)は、特に非英語言語においてデータ不足のため、依然として困難である。 そこで本研究では, 音声変換モデルを用いて, 話者特性と韻律歪みの両方を符号化し, 健全な非英語音声(FLEURS)を非英語音声に変換する手法を提案する。 生成したデータは多言語ASRモデルであるMMS(Massively Multilingual Speech)を微調整し、変形性音声認識を改善する。 PC-GITA(スペイン語)、EasyCall(イタリア語)、SSNCE(タミル)による評価では、話者変換と韻律変換の両方のVCは、市販のMMS性能と、速度やテンポ摂動といった従来の拡張技術よりも著しく優れていた。 さらに、生成したデータの客観的および主観的分析により、生成した音声が変形性特性をシミュレートすることを確認した。

関連論文リスト

• Unsupervised Rhythm and Voice Conversion of Dysarthric to Healthy Speech for ASR [18.701864254184308]
  自己教師付き音声表現に基づくリズムと音声の変換手法を組み合わせることで、典型的な音声に変形をマッピングする。 提案したリズム変換は, より重篤な変形症例を有するトーゴコーパスの話者のパフォーマンスを特に向上させることが判明した。
  論文  参考訳（メタデータ） (2025-01-17T15:39:21Z)
• UNIT-DSR: Dysarthric Speech Reconstruction System Using Speech Unit Normalization [60.43992089087448]
  変形性音声再構成システムは、変形性音声を正常な音声に変換することを目的としている。 本稿では,HuBERTのドメイン適応能力を活用して学習効率を向上させるユニットDSRシステムを提案する。 NEDアプローチと比較すると、ユニットDSRシステムは音声単位正規化器とユニットHiFi-GANボコーダのみで構成されている。
  論文  参考訳（メタデータ） (2024-01-26T06:08:47Z)
• Accurate synthesis of Dysarthric Speech for ASR data augmentation [5.223856537504927]
  Dysarthria は運動性発声障害であり、しばしば発声能力の低下を特徴とする。 本稿では,ASRトレーニングデータ拡張を目的とした新しい音声合成法を提案する。
  論文  参考訳（メタデータ） (2023-08-16T15:42:24Z)
• Arabic Dysarthric Speech Recognition Using Adversarial and Signal-Based Augmentation [4.874780144224057]
  本研究の目的は,多段階拡張アプローチによるアラビア語義歯の自動音声認識の性能向上である。 そこで本研究ではまず,健常なアラビア語から変形性アラビア語を生成するための信号に基づくアプローチを提案する。 また,2段階のPWG(Parallel Wave Generative)逆解析モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-07T12:01:46Z)
• Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
  調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。 本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。 生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
  論文  参考訳（メタデータ） (2022-06-15T07:20:28Z)
• Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition [15.136348385992047]
  本研究では, 変形性関節症に対するASRシステムの訓練機能として, Wav2Vec を用いた自己教師型音声表現の有用性について検討した。 我々は、Wav2Vec、Hubert、および言語間XLSRモデルから抽出された特徴を持つ音響モデルを訓練する。 結果から,大容量データに事前学習した音声表現は,単語誤り率(WER)を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-04-04T17:36:01Z)
• Zero-Shot Cross-lingual Aphasia Detection using Automatic Speech Recognition [3.2631198264090746]
  失語症(英: Aphasia)は、一般的には脳損傷や脳卒中によって引き起こされる言語障害であり、世界中の何百万人もの人々に影響を及ぼす。 本稿では,言語間音声表現を共用する事前学習型自動音声認識(ASR)モデルを用いたエンドツーエンドパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-04-01T14:05:02Z)
• Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation [59.41186714127256]
  変形性音声再建(DSR)は,変形性音声の品質向上を目的としている。 話者識別に最適化された話者エンコーダ (SE) について検討した。 我々は,新しいマルチタスク学習戦略,すなわち対人話者適応(ASA)を提案する。
  論文  参考訳（メタデータ） (2022-02-18T08:59:36Z)
• Recent Progress in the CUHK Dysarthric Speech Recognition System [66.69024814159447]
  障害音声は、現在のデータ集約型ディープニューラルネットワーク(DNN)に基づく自動音声認識技術に対して、幅広い課題を提示している。 本稿では,香港の中国大学における音声認識システムの性能向上に向けた最近の研究成果について述べる。
  論文  参考訳（メタデータ） (2022-01-15T13:02:40Z)
• Investigation of Data Augmentation Techniques for Disordered Speech Recognition [69.50670302435174]
  本稿では,不規則音声認識のための一連のデータ拡張手法について検討する。 正常な音声と無秩序な音声の両方が増強過程に利用された。 UASpeechコーパスを用いた最終話者適応システムと、最大2.92%の絶対単語誤り率(WER)の速度摂動に基づく最良の拡張アプローチ
  論文  参考訳（メタデータ） (2022-01-14T17:09:22Z)
• Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion [60.808838088376675]
  本稿では,明示的な韻律モデルと深層話者埋め込み学習を用いたVCシステムを提案する。 韻律補正器は音素埋め込みを取り入れ、典型的な音素持続時間とピッチ値を推定する。 変換モデルは、音素埋め込みと典型的な韻律特徴を入力として、変換された音声を生成する。
  論文  参考訳（メタデータ） (2020-11-03T13:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。