論文の概要: Speech Recognition for Automatically Assessing Afrikaans and isiXhosa Preschool Oral Narratives

• arxiv url: http://arxiv.org/abs/2501.06478v1
• Date: Sat, 11 Jan 2025 08:11:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:22:44.047318
• Title: Speech Recognition for Automatically Assessing Afrikaans and isiXhosa Preschool Oral Narratives
• Title（参考訳）: Afrikaans と IsiXhosa の幼児口頭話の自動評価のための音声認識
• Authors: Christiaan Jacobs, Annelien Smith, Daleen Klop, Ondřej Klejch, Febe de Wet, Herman Kamper,
• Abstract要約: Afrikaans と IsiXhosa 幼児による物語の自動音声認識システムの開発を行った。 我々は、このユニークな設定に最も適したものを決定するために、事前の子供音声ASR戦略について検討する。
• 参考スコア（独自算出の注目度）: 15.669164862460342
• License:
• Abstract: We develop automatic speech recognition (ASR) systems for stories told by Afrikaans and isiXhosa preschool children. Oral narratives provide a way to assess children's language development before they learn to read. We consider a range of prior child-speech ASR strategies to determine which is best suited to this unique setting. Using Whisper and only 5 minutes of transcribed in-domain child speech, we find that additional in-domain adult data (adult speech matching the story domain) provides the biggest improvement, especially when coupled with voice conversion. Semi-supervised learning also helps for both languages, while parameter-efficient fine-tuning helps on Afrikaans but not on isiXhosa (which is under-represented in the Whisper model). Few child-speech studies look at non-English data, and even fewer at the preschool ages of 4 and 5. Our work therefore represents a unique validation of a wide range of previous child-speech ASR strategies in an under-explored setting.
• Abstract（参考訳）: Afrikaans と IsiXhosa 幼児による物語の自動音声認識(ASR)システムの開発を行った。 口頭物語は、読み始める前に子供の言語発達を評価する手段を提供する。 我々は、このユニークな設定に最も適したものを決定するために、事前の子供音声ASR戦略について検討する。 Whisperと5分で書き起こされたドメイン内子音声を用いて、特に音声変換と組み合わせた場合、さらにドメイン内成人データ(物語領域にマッチする言語)が最大の改善をもたらすことが判明した。 半教師付き学習は両方の言語に役立つが、パラメータ効率の良い微調整はアフリカーンでは有効だが、isiXhosa(Whisperモデルでは表現できない)では役に立たない。 4歳から5歳までの就学前では、非英語データに目を向ける研究はほとんどなく、さらに少なかった。 そこで本研究は, 未探索環境下での, これまでの子供音声によるASR戦略の, 幅広い検証方法を示すものである。

関連論文リスト

• Efficient Training for Multilingual Visual Speech Recognition: Pre-training with Discretized Visual Speech Representation [55.15299351110525]
  本稿では,1つの訓練されたモデルで異なる言語を認識可能な文レベル多言語視覚音声認識(VSR)について検討する。 視覚音声単位を用いた新しい学習手法を提案する。 我々は、従来の言語固有のVSRモデルに匹敵する性能を達成し、最先端の多言語VSRのパフォーマンスを新たに設定した。
  論文  参考訳（メタデータ） (2024-01-18T08:46:02Z)
• Adaptation of Whisper models to child speech recognition [3.2548794659022398]
  幼児音声におけるWhisperの微調整は、児童音声におけるASR性能を大幅に向上させることを示す。 Wav2vec2モデルは、子どものスピーチで微調整され、Whisperの微調整よりも優れています。
  論文  参考訳（メタデータ） (2023-07-24T12:54:45Z)
• Automatic Speech Recognition of Non-Native Child Speech for Language Learning Applications [18.849741353784328]
  我々は、最先端のASRシステムであるWav2Vec2.0とWhisper AIの性能を評価する。 オランダ語母語,非母語母語母語,非母語母語母語,母語母語母語母語母語,母語母語母語母語母語,母語母語母語母語母語母語母語母語,母語母語母語母語母語母語母語母語,母語母語母語母語母語母語
  論文  参考訳（メタデータ） (2023-06-29T06:14:26Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• Improving Children's Speech Recognition by Fine-tuning Self-supervised Adult Speech Representations [2.2191297646252646]
  幼児の音声認識は、包括的音声認識技術を構築する際には不可欠だが、ほとんど見過ごされる領域である。 近年の自己教師型学習の進歩は、このデータ不足の問題を克服する新たな機会を生み出している。 子どもの音声認識のためのモデルを構築するために,自己指導型成人音声表現を活用し,よく知られた幼児音声コーパスを3つ利用した。
  論文  参考訳（メタデータ） (2022-11-14T22:03:36Z)
• Transfer Learning for Robust Low-Resource Children's Speech ASR with Transformers and Source-Filter Warping [11.584388304271029]
  本研究では,成人と子どもの発話の領域ギャップを埋めるために,音声のソースフィルタモデルに基づくデータ拡張手法を提案する。 この拡張戦略を用いて、成人データに基づいて事前学習したTransformerモデルに転送学習を適用する。 このモデルは、最近導入されたXLS-Rアーキテクチャ(wav2vec 2.0モデル)に従っている。
  論文  参考訳（メタデータ） (2022-06-19T12:57:47Z)
• ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
  提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。 対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
  論文  参考訳（メタデータ） (2022-03-29T11:55:30Z)
• Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
  音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。 具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。 既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
  論文  参考訳（メタデータ） (2021-10-11T00:08:48Z)
• UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data [54.733889961024445]
  ラベル付きデータとラベル付きデータの両方を用いて音声表現を学習するためのUniSpeechという統合事前学習手法を提案する。 公立CommonVoiceコーパス上での言語間表現学習におけるUniSpeechの有効性を評価する。
  論文  参考訳（メタデータ） (2021-01-19T12:53:43Z)
• Learning to Understand Child-directed and Adult-directed Speech [18.29692441616062]
  人間の言語習得研究は、児童指向の音声が言語学習者に役立つことを示している。 成人指向音声(ADS)と子ども指向音声(CDS)で訓練されたモデルのタスク性能の比較を行った。 CDSが学習の初期段階で有効であることを示す指標が得られたが、最終的には、ADSでトレーニングされたモデルは、同等のタスクパフォーマンスに達し、より一般化される。
  論文  参考訳（メタデータ） (2020-05-06T10:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。