論文の概要: Speaker adaptation for Wav2vec2 based dysarthric ASR

• arxiv url: http://arxiv.org/abs/2204.00770v1
• Date: Sat, 2 Apr 2022 05:46:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 08:59:18.876741
• Title: Speaker adaptation for Wav2vec2 based dysarthric ASR
• Title（参考訳）: wav2vec2を用いたdysarthric asrの話者適応
• Authors: Murali Karthick Baskar, Tim Herzig, Diana Nguyen, Mireia Diez, Tim Polzehl, Luk\'a\v{s} Burget and Jan "Honza'' \v{C}ernock\'y
• Abstract要約: 変形性音声認識は、訓練データの欠如と話者特性の過度なミスマッチが原因で大きな課題となっている。 近年のASRシステムは、認識性能を向上させるために、wav2vec2のような容易に利用できる事前訓練モデルの恩恵を受けている。 fMLLR特徴量を用いた微調整wav2vec2の適応ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 5.478091551514826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dysarthric speech recognition has posed major challenges due to lack of training data and heavy mismatch in speaker characteristics. Recent ASR systems have benefited from readily available pretrained models such as wav2vec2 to improve the recognition performance. Speaker adaptation using fMLLR and xvectors have provided major gains for dysarthric speech with very little adaptation data. However, integration of wav2vec2 with fMLLR features or xvectors during wav2vec2 finetuning is yet to be explored. In this work, we propose a simple adaptation network for fine-tuning wav2vec2 using fMLLR features. The adaptation network is also flexible to handle other speaker adaptive features such as xvectors. Experimental analysis show steady improvements using our proposed approach across all impairment severity levels and attains 57.72\% WER for high severity in UASpeech dataset. We also performed experiments on German dataset to substantiate the consistency of our proposed approach across diverse domains.
• Abstract（参考訳）: dysarthric音声認識は、トレーニングデータの欠如と話者特性の不一致により、大きな課題となっている。 近年のASRシステムは、認識性能を向上させるために、wav2vec2のような容易に利用できる事前訓練モデルの恩恵を受けている。 fmllr と xvector を用いた話者適応は, 適応データが少なく, 構音障害に対する大きな改善をもたらした。 しかしながら、wav2vec2ファインタニング中のwav2vec2とfMLLR機能またはxvectorsの統合はまだ検討されていない。 本研究では,fMLLR特徴量を用いた微調整wav2vec2の適応ネットワークを提案する。 適応ネットワークは、xvectorのような他の話者適応機能を扱うためにも柔軟である。 UASpeechデータセットでは,全ての障害重大度レベルにまたがって,57.72\% WERを高い重大度で達成した。 提案手法の整合性を検証するため,ドイツにおけるデータセットの実験も行った。

関連論文リスト

• Mutual Learning for Acoustic Matching and Dereverberation via Visual Scene-driven Diffusion [93.32354378820648]
  本稿では拡散モデルに基づく相互学習フレームワークMVSDを紹介する。 MVSDは2つのタスクを対称的に考慮し、逆タスクからの学習を容易にするために相互関係を利用する。 我々のフレームワークは、残響器と残響器の性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-07-15T00:47:56Z)
• Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation [71.31331402404662]
  本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。 話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。 テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
  論文  参考訳（メタデータ） (2024-07-08T18:20:24Z)
• DASA: Difficulty-Aware Semantic Augmentation for Speaker Verification [55.306583814017046]
  本稿では,話者認証のための難易度認識型セマンティック拡張(DASA)手法を提案する。 DASAは、話者埋め込み空間における多様なトレーニングサンプルを、無視できる余分な計算コストで生成する。 最も良い結果は、CN-Celeb評価セット上でのEER測定値の14.6%の相対的な減少を達成する。
  論文  参考訳（メタデータ） (2023-10-18T17:07:05Z)
• Fully Automated End-to-End Fake Audio Detection [57.78459588263812]
  本稿では,完全自動エンドツーエンド音声検出手法を提案する。 まず、wav2vec事前学習モデルを用いて、音声の高レベル表現を得る。 ネットワーク構造には, Light-DARTS という異種アーキテクチャサーチ (DARTS) の修正版を用いる。
  論文  参考訳（メタデータ） (2022-08-20T06:46:55Z)
• On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition [53.17176024917725]
  話者レベルのデータの共有化は、データ集約型モデルに基づく話者適応手法の実用的利用を制限する。 本稿では,2種類のデータ効率,特徴量に基づくオンザフライ話者適応手法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T09:12:24Z)
• Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition [57.15942628305797]
  調音機能は音響信号歪みに不変であり、正常音声の自動音声認識システムにうまく組み込まれている。 本稿では,15時間 TORGO コーパスの並列音響・調音データをモデルトレーニングに用いるクロスドメイン音響・調音(A2A)インバージョン手法を提案する。 クロスドメインは102.7時間のUASpeechコーパスに適応し、調音的特徴を生産する。
  論文  参考訳（メタデータ） (2022-03-19T08:47:18Z)
• A Unified Speaker Adaptation Approach for ASR [37.76683818356052]
  本稿では,特徴適応とモデル適応からなる統一話者適応手法を提案する。 特徴適応には話者認識型永続記憶モデルを用い、未確認話者に対してより良く一般化する。 モデル適応には、モデルアーキテクチャを変更することなく、新たな段階的なプルーニング手法を用いてターゲット話者に適応する。
  論文  参考訳（メタデータ） (2021-10-16T10:48:52Z)
• Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech [5.960279280033886]
  モデルファインタニングと比較して,比較的少数の余分なパラメータをエンコーダ層に追加することにより,類似の適応ゲインが得られることを示す。 我々はこれを2つの言語適応タスク(非典型的およびアクセント付き音声)と2つの最先端のASRアーキテクチャで実証する。
  論文  参考訳（メタデータ） (2021-09-14T20:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。