論文の概要: Evaluation of state-of-the-art ASR Models in Child-Adult Interactions
- arxiv url: http://arxiv.org/abs/2409.16135v1
- Date: Tue, 24 Sep 2024 14:42:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 05:36:51.225623
- Title: Evaluation of state-of-the-art ASR Models in Child-Adult Interactions
- Title（参考訳）: 子どもと親の交流における最先端ASRモデルの評価
- Authors: Aditya Ashvin, Rimita Lahiri, Aditya Kommineni, Somer Bishop, Catherine Lord, Sudarsana Reddy Kadiri, Shrikanth Narayanan,
- Abstract要約: 音声基礎モデルでは, 成人の発話と比較して, 子どもの発話に対する顕著な性能低下(15-20%絶対WER)がみられた。
低資源環境下での微調整の有効性を探索するために,最良性能のゼロショットモデル(Whisper-large)にLoRAを用いる。
- 参考スコア（独自算出の注目度）: 27.30130353688078
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The ability to reliably transcribe child-adult conversations in a clinical setting is valuable for diagnosis and understanding of numerous developmental disorders such as Autism Spectrum Disorder. Recent advances in deep learning architectures and availability of large scale transcribed data has led to development of speech foundation models that have shown dramatic improvements in ASR performance. However, the ability of these models to translate well to conversational child-adult interactions is under studied. In this work, we provide a comprehensive evaluation of ASR performance on a dataset containing child-adult interactions from autism diagnostic sessions, using Whisper, Wav2Vec2, HuBERT, and WavLM. We find that speech foundation models show a noticeable performance drop (15-20% absolute WER) for child speech compared to adult speech in the conversational setting. Then, we employ LoRA on the best performing zero shot model (whisper-large) to probe the effectiveness of fine-tuning in a low resource setting, resulting in ~8% absolute WER improvement for child speech and ~13% absolute WER improvement for adult speech.
- Abstract（参考訳）: 自閉症スペクトラム障害などの多くの発達障害の診断と理解には, 臨床現場で子育て会話を確実に書き起こす能力が重要である。
近年のディープラーニングアーキテクチャの進歩と大規模書き起こしデータの活用により,ASRの性能が劇的に向上した音声基礎モデルが開発されている。
しかし、これらのモデルが会話型児童・大人の相互作用にうまく翻訳する能力について研究されている。
本稿では,Whisper,Wav2Vec2,HuBERT,WavLMを用いて,自閉症診断セッションからの児童・子どものインタラクションを含むデータセット上でのASR性能の総合評価を行う。
その結果, 音声基礎モデルでは, 成人の音声と比較して, 子どもの音声に対する顕著な性能低下(絶対値15-20%)がみられた。
その結果,低資源環境下での微調整の有効性を調査するため,LoRAを最高のゼロショットモデル(Whisper-large)に採用し,子音の絶対WER改善率を約8%,成人音声の絶対WER改善率を約13%とした。
関連論文リスト
- Improving child speech recognition with augmented child-like speech [20.709414063132627]
言語間の子子間音声変換は、子どものASR性能を著しく改善した。
最先端のASRは、子どものスピーチに最適なパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-06-12T08:56:46Z) - Hear Me, See Me, Understand Me: Audio-Visual Autism Behavior Recognition [47.550391816383794]
本稿では,音声・視覚自閉症の行動認識の新たな課題について紹介する。
社会的行動認識は、AIによる自閉症スクリーニング研究において、これまで省略されてきた重要な側面である。
データセット、コード、事前トレーニングされたモデルをリリースします。
論文 参考訳（メタデータ） (2024-03-22T22:52:35Z) - A comparative analysis between Conformer-Transducer, Whisper, and
wav2vec2 for improving the child speech recognition [2.965450563218781]
幼児音声におけるコンフォーマー・トランスデューサモデルの微調整は、児童音声におけるASR性能を大幅に向上させることを示す。
また、Whisper と wav2vec2 を異なる子音声データセットに適応させる。
論文 参考訳（メタデータ） (2023-11-07T19:32:48Z) - Kid-Whisper: Towards Bridging the Performance Gap in Automatic Speech Recognition for Children VS. Adults [4.765434968114876]
我々は、より効率的なデータ前処理により、MySTデータセットの有用性を高める。
この改善は、目に見えないデータセットに一般化できることを示す。
その結果,Whisperの有効かつ効率的な統合が,効果的な子どもの音声認識に有効であることが示された。
論文 参考訳（メタデータ） (2023-09-12T06:58:18Z) - Adaptation of Whisper models to child speech recognition [3.2548794659022398]
幼児音声におけるWhisperの微調整は、児童音声におけるASR性能を大幅に向上させることを示す。
Wav2vec2モデルは、子どものスピーチで微調整され、Whisperの微調整よりも優れています。
論文 参考訳（メタデータ） (2023-07-24T12:54:45Z) - Analysing the Impact of Audio Quality on the Use of Naturalistic
Long-Form Recordings for Infant-Directed Speech Research [62.997667081978825]
早期言語習得のモデリングは、幼児が言語スキルをブートストラップする方法を理解することを目的としている。
近年の進歩により、より自然主義的なトレーニングデータを計算モデルに利用できるようになった。
音質がこれらのデータに対する分析やモデリング実験にどう影響するかは、現時点では不明である。
論文 参考訳（メタデータ） (2023-05-03T08:25:37Z) - Leveraging Pretrained Representations with Task-related Keywords for
Alzheimer's Disease Detection [69.53626024091076]
アルツハイマー病(AD)は高齢者に特に顕著である。
事前学習モデルの最近の進歩は、AD検出モデリングを低レベル特徴から高レベル表現にシフトさせる動機付けとなっている。
本稿では,高レベルの音響・言語的特徴から,より優れたAD関連手がかりを抽出する,いくつかの効率的な手法を提案する。
論文 参考訳（メタデータ） (2023-03-14T16:03:28Z) - Improving Children's Speech Recognition by Fine-tuning Self-supervised
Adult Speech Representations [2.2191297646252646]
幼児の音声認識は、包括的音声認識技術を構築する際には不可欠だが、ほとんど見過ごされる領域である。
近年の自己教師型学習の進歩は、このデータ不足の問題を克服する新たな機会を生み出している。
子どもの音声認識のためのモデルを構築するために,自己指導型成人音声表現を活用し,よく知られた幼児音声コーパスを3つ利用した。
論文 参考訳（メタデータ） (2022-11-14T22:03:36Z) - Speaker Identity Preservation in Dysarthric Speech Reconstruction by
Adversarial Speaker Adaptation [59.41186714127256]
変形性音声再建(DSR)は,変形性音声の品質向上を目的としている。
話者識別に最適化された話者エンコーダ (SE) について検討した。
我々は,新しいマルチタスク学習戦略,すなわち対人話者適応(ASA)を提案する。
論文 参考訳（メタデータ） (2022-02-18T08:59:36Z) - Investigation of Data Augmentation Techniques for Disordered Speech
Recognition [69.50670302435174]
本稿では,不規則音声認識のための一連のデータ拡張手法について検討する。
正常な音声と無秩序な音声の両方が増強過程に利用された。
UASpeechコーパスを用いた最終話者適応システムと、最大2.92%の絶対単語誤り率(WER)の速度摂動に基づく最良の拡張アプローチ
論文 参考訳（メタデータ） (2022-01-14T17:09:22Z) - A Preliminary Study of a Two-Stage Paradigm for Preserving Speaker
Identity in Dysarthric Voice Conversion [50.040466658605524]
変形性音声変換(DVC)における話者同一性維持のための新しいパラダイムを提案する。
変形性音声の質は統計VCによって大幅に改善される。
しかし, 変形性関節症患者の通常の発話は, ほとんど収集できないため, 過去の研究は患者の個性を取り戻すことはできなかった。
論文 参考訳（メタデータ） (2021-06-02T18:41:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。