論文の概要: Arabic Dysarthric Speech Recognition Using Adversarial and Signal-Based Augmentation

• arxiv url: http://arxiv.org/abs/2306.04368v1
• Date: Wed, 7 Jun 2023 12:01:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 14:39:59.219824
• Title: Arabic Dysarthric Speech Recognition Using Adversarial and Signal-Based Augmentation
• Title（参考訳）: 対数と信号に基づく拡張を用いたアラビア王朝音声認識
• Authors: Massa Baali, Ibrahim Almakky, Shady Shehata, Fakhri Karray
• Abstract要約: 本研究の目的は,多段階拡張アプローチによるアラビア語義歯の自動音声認識の性能向上である。 そこで本研究ではまず,健常なアラビア語から変形性アラビア語を生成するための信号に基づくアプローチを提案する。 また,2段階のPWG(Parallel Wave Generative)逆解析モデルを提案する。
• 参考スコア（独自算出の注目度）: 4.874780144224057
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite major advancements in Automatic Speech Recognition (ASR), the state-of-the-art ASR systems struggle to deal with impaired speech even with high-resource languages. In Arabic, this challenge gets amplified, with added complexities in collecting data from dysarthric speakers. In this paper, we aim to improve the performance of Arabic dysarthric automatic speech recognition through a multi-stage augmentation approach. To this effect, we first propose a signal-based approach to generate dysarthric Arabic speech from healthy Arabic speech by modifying its speed and tempo. We also propose a second stage Parallel Wave Generative (PWG) adversarial model that is trained on an English dysarthric dataset to capture language-independant dysarthric speech patterns and further augment the signal-adjusted speech samples. Furthermore, we propose a fine-tuning and text-correction strategies for Arabic Conformer at different dysarthric speech severity levels. Our fine-tuned Conformer achieved 18% Word Error Rate (WER) and 17.2% Character Error Rate (CER) on synthetically generated dysarthric speech from the Arabic commonvoice speech dataset. This shows significant WER improvement of 81.8% compared to the baseline model trained solely on healthy data. We perform further validation on real English dysarthric speech showing a WER improvement of 124% compared to the baseline trained only on healthy English LJSpeech dataset.
• Abstract（参考訳）: 音声認識 (Automatic Speech Recognition, ASR) の進歩にもかかわらず、最先端のASRシステムは、高水準の言語でも障害のある音声を扱うのに苦労している。 アラビア語では、この課題は増幅され、dysarthric speakersからのデータ収集の複雑さが増す。 本稿では,多段階拡張手法によりアラビア語義歯の自動音声認識の性能を向上させることを目的とする。 そこで我々はまず,その速度とテンポを変化させることで,健常なアラビア語から音声を合成する信号に基づくアプローチを提案する。 また、英語のdysarthricデータセット上で学習し、言語に依存しないdysarthric音声パターンをキャプチャし、信号調整された音声サンプルをさらに強化する第2段階並列波生成モデルを提案する。 さらに, 構音障害レベルが異なるアラビア語適合者に対して, 微調整とテキスト訂正の戦略を提案する。 本研究は, アラビア語共通音声データセットから合成した構音障害音声に対して, 18%の単語誤り率 (wer) と17.2%の文字誤り率 (cer) を達成した。 これは、健康なデータのみを訓練したベースラインモデルと比較して81.8%の改善を示した。 健康な英語ljspeechデータセットでのみ訓練されたベースラインよりも124%改善した。

関連論文リスト

• Self-supervised ASR Models and Features For Dysarthric and Elderly Speech Recognition [71.87998918300806]
  本稿では,TDNNとConformer ASRシステムにSSLプリトレーニングモデルとその機能を統合するアプローチについて検討する。 ドメイン適応型HuBERT、wav2vec2-conformer、マルチ言語型XLSRモデルを統合することで構築されたTDNNシステムは、スタンドアロンの微調整型SSL事前訓練モデルより一貫して優れている。 DementiaBank Pitt の高齢者音声認識出力を用いて,アルツハイマー病の検出精度の向上も行った。
  論文  参考訳（メタデータ） (2024-07-03T08:33:39Z)
• Perceiver-Prompt: Flexible Speaker Adaptation in Whisper for Chinese Disordered Speech Recognition [40.44769351506048]
  Perceiver-PromptはWhisperの大規模モデル上でP-Tuningを利用する話者適応手法である。 我々はまずLoRAを用いてWhisperを微調整し、次にトレーニング可能なPerceiverを統合して可変長入力から固定長話者プロンプトを生成する。
  論文  参考訳（メタデータ） (2024-06-14T09:36:46Z)
• Accurate synthesis of Dysarthric Speech for ASR data augmentation [5.223856537504927]
  Dysarthria は運動性発声障害であり、しばしば発声能力の低下を特徴とする。 本稿では,ASRトレーニングデータ拡張を目的とした新しい音声合成法を提案する。
  論文  参考訳（メタデータ） (2023-08-16T15:42:24Z)
• Adversarial Training For Low-Resource Disfluency Correction [50.51901599433536]
  ディフルエンシ補正(DC)のための逆学習型シーケンスタグ付けモデルを提案する。 提案手法の利点は,3つのインド語でDCに対して評価することで,合成された非流動データに大きく依存することを示す。 また,本手法は,音声障害によって導入されたASR文字の破面的不一致の除去にも有効である。
  論文  参考訳（メタデータ） (2023-06-10T08:58:53Z)
• Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
  調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。 本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。 生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
  論文  参考訳（メタデータ） (2022-06-15T07:20:28Z)
• Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition [15.136348385992047]
  本研究では, 変形性関節症に対するASRシステムの訓練機能として, Wav2Vec を用いた自己教師型音声表現の有用性について検討した。 我々は、Wav2Vec、Hubert、および言語間XLSRモデルから抽出された特徴を持つ音響モデルを訓練する。 結果から,大容量データに事前学習した音声表現は,単語誤り率(WER)を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-04-04T17:36:01Z)
• Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation [59.41186714127256]
  変形性音声再建(DSR)は,変形性音声の品質向上を目的としている。 話者識別に最適化された話者エンコーダ (SE) について検討した。 我々は,新しいマルチタスク学習戦略,すなわち対人話者適応(ASA)を提案する。
  論文  参考訳（メタデータ） (2022-02-18T08:59:36Z)
• Recent Progress in the CUHK Dysarthric Speech Recognition System [66.69024814159447]
  障害音声は、現在のデータ集約型ディープニューラルネットワーク(DNN)に基づく自動音声認識技術に対して、幅広い課題を提示している。 本稿では,香港の中国大学における音声認識システムの性能向上に向けた最近の研究成果について述べる。
  論文  参考訳（メタデータ） (2022-01-15T13:02:40Z)
• Investigation of Data Augmentation Techniques for Disordered Speech Recognition [69.50670302435174]
  本稿では,不規則音声認識のための一連のデータ拡張手法について検討する。 正常な音声と無秩序な音声の両方が増強過程に利用された。 UASpeechコーパスを用いた最終話者適応システムと、最大2.92%の絶対単語誤り率(WER)の速度摂動に基づく最良の拡張アプローチ
  論文  参考訳（メタデータ） (2022-01-14T17:09:22Z)
• Improving Dysarthric Speech Intelligibility Using Cycle-consistent Adversarial Training [4.050982413149992]
  本研究の目的は,Cycle-Consistent GANを用いた難聴から健全な音声変換のためのモデルを開発することである。 ジェネレータは、関節をスペクトル領域の健全な音声に変換するように訓練され、その後音声に変換される。
  論文  参考訳（メタデータ） (2020-01-10T01:40:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。