論文の概要: Perceiver-Prompt: Flexible Speaker Adaptation in Whisper for Chinese Disordered Speech Recognition

• arxiv url: http://arxiv.org/abs/2406.09873v1
• Date: Fri, 14 Jun 2024 09:36:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 14:24:30.110755
• Title: Perceiver-Prompt: Flexible Speaker Adaptation in Whisper for Chinese Disordered Speech Recognition
• Title（参考訳）: Perceiver-Prompt:中国語障害音声認識におけるウィスパーのフレキシブル話者適応
• Authors: Yicong Jiang, Tianzi Wang, Xurong Xie, Juan Liu, Wei Sun, Nan Yan, Hui Chen, Lan Wang, Xunying Liu, Feng Tian,
• Abstract要約: Perceiver-PromptはWhisperの大規模モデル上でP-Tuningを利用する話者適応手法である。 我々はまずLoRAを用いてWhisperを微調整し、次にトレーニング可能なPerceiverを統合して可変長入力から固定長話者プロンプトを生成する。
• 参考スコア（独自算出の注目度）: 40.44769351506048
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Disordered speech recognition profound implications for improving the quality of life for individuals afflicted with, for example, dysarthria. Dysarthric speech recognition encounters challenges including limited data, substantial dissimilarities between dysarthric and non-dysarthric speakers, and significant speaker variations stemming from the disorder. This paper introduces Perceiver-Prompt, a method for speaker adaptation that utilizes P-Tuning on the Whisper large-scale model. We first fine-tune Whisper using LoRA and then integrate a trainable Perceiver to generate fixed-length speaker prompts from variable-length inputs, to improve model recognition of Chinese dysarthric speech. Experimental results from our Chinese dysarthric speech dataset demonstrate consistent improvements in recognition performance with Perceiver-Prompt. Relative reduction up to 13.04% in CER is obtained over the fine-tuned Whisper.
• Abstract（参考訳）: 障害のある音声認識は、例えば失語症に苦しむ個人にとって、生活の質を向上させるために重大な意味を持つ。 変形性音声認識は、限られたデータ、変形性スピーカーと非変形性スピーカーの相当な相違、障害に起因する有意な話者変動を含む課題に遭遇する。 本稿では,Whisper大規模モデル上でP-Tuningを利用する話者適応手法であるPerceiver-Promptを紹介する。 われわれはまずLoRAを用いてWhisperを微調整し、次にトレーニング可能なPerceiverを統合し、可変長入力から固定長話者プロンプトを生成し、中国語の変形音声のモデル認識を改善する。 以上の結果から,Perceiver-Promptによる認識性能の改善が得られた。 CERの相対還元率は13.04%まで減少する。

関連論文リスト

• Accurate synthesis of Dysarthric Speech for ASR data augmentation [5.223856537504927]
  Dysarthria は運動性発声障害であり、しばしば発声能力の低下を特徴とする。 本稿では,ASRトレーニングデータ拡張を目的とした新しい音声合成法を提案する。
  論文  参考訳（メタデータ） (2023-08-16T15:42:24Z)
• Use of Speech Impairment Severity for Dysarthric Speech Recognition [37.93801885333925]
  本稿では, 難易度と話者識別性を両立させる新しい手法を提案する。 UASpeechの実験では、最先端のハイブリッドDNN、E2E Conformer、事前訓練されたWav2vec 2.0 ASRシステムに音声障害の重大度を組み込むことが提案されている。
  論文  参考訳（メタデータ） (2023-05-18T02:42:59Z)
• Speaker Adaptation Using Spectro-Temporal Deep Features for Dysarthric and Elderly Speech Recognition [48.33873602050463]
  話者適応技術は、そのようなユーザのためのASRシステムのパーソナライズに重要な役割を果たしている。 変形性関節症、高齢者、および正常音声の分光時間差による動機づけ SVD音声スペクトルを用いた新しい分光時空間ベース深層埋め込み
  論文  参考訳（メタデータ） (2022-02-21T15:11:36Z)
• Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation [59.41186714127256]
  変形性音声再建(DSR)は,変形性音声の品質向上を目的としている。 話者識別に最適化された話者エンコーダ (SE) について検討した。 我々は,新しいマルチタスク学習戦略,すなわち対人話者適応(ASA)を提案する。
  論文  参考訳（メタデータ） (2022-02-18T08:59:36Z)
• Investigation of Data Augmentation Techniques for Disordered Speech Recognition [69.50670302435174]
  本稿では,不規則音声認識のための一連のデータ拡張手法について検討する。 正常な音声と無秩序な音声の両方が増強過程に利用された。 UASpeechコーパスを用いた最終話者適応システムと、最大2.92%の絶対単語誤り率(WER)の速度摂動に基づく最良の拡張アプローチ
  論文  参考訳（メタデータ） (2022-01-14T17:09:22Z)
• Spectro-Temporal Deep Features for Disordered Speech Assessment and Recognition [65.25325641528701]
  音声スペクトルのSVD分解による深い特徴を埋め込んだ新しいスペクトル時空間ベースを提案する。 UASpeechコーパスで行った実験では、提案された分光時間深部特徴適応システムは、データ拡張の有無にかかわらず、ワードエラー率(WER)を最大263%(相対8.6%)削減することで、ベースラインi-適応を一貫して上回ったことが示唆された。
  論文  参考訳（メタデータ） (2022-01-14T16:56:43Z)
• A Preliminary Study of a Two-Stage Paradigm for Preserving Speaker Identity in Dysarthric Voice Conversion [50.040466658605524]
  変形性音声変換(DVC)における話者同一性維持のための新しいパラダイムを提案する。 変形性音声の質は統計VCによって大幅に改善される。 しかし, 変形性関節症患者の通常の発話は, ほとんど収集できないため, 過去の研究は患者の個性を取り戻すことはできなかった。
  論文  参考訳（メタデータ） (2021-06-02T18:41:03Z)
• Improving Dysarthric Speech Intelligibility Using Cycle-consistent Adversarial Training [4.050982413149992]
  本研究の目的は,Cycle-Consistent GANを用いた難聴から健全な音声変換のためのモデルを開発することである。 ジェネレータは、関節をスペクトル領域の健全な音声に変換するように訓練され、その後音声に変換される。
  論文  参考訳（メタデータ） (2020-01-10T01:40:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。