論文の概要: Effectiveness of text to speech pseudo labels for forced alignment and
cross lingual pretrained models for low resource speech recognition
- arxiv url: http://arxiv.org/abs/2203.16823v1
- Date: Thu, 31 Mar 2022 06:12:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-02 04:23:22.779721
- Title: Effectiveness of text to speech pseudo labels for forced alignment and
cross lingual pretrained models for low resource speech recognition
- Title(参考訳): 低資源音声認識のための強制アライメントと言語間事前学習モデルに対するテキスト対音声擬似ラベルの有効性
- Authors: Anirudh Gupta, Rishabh Gaur, Ankur Dhuriya, Harveen Singh Chadha,
Neeraj Chhimwal, Priyanshi Shah, Vivek Raghavan
- Abstract要約: 本稿では,Maithili,Bhojpuri,Dogriのラベル付きデータ作成手法を提案する。
すべてのデータとモデルはオープンドメインで利用可能である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the recent years end to end (E2E) automatic speech recognition (ASR)
systems have achieved promising results given sufficient resources. Even for
languages where not a lot of labelled data is available, state of the art E2E
ASR systems can be developed by pretraining on huge amounts of high resource
languages and finetune on low resource languages. For a lot of low resource
languages the current approaches are still challenging, since in many cases
labelled data is not available in open domain. In this paper we present an
approach to create labelled data for Maithili, Bhojpuri and Dogri by utilising
pseudo labels from text to speech for forced alignment. The created data was
inspected for quality and then further used to train a transformer based
wav2vec 2.0 ASR model. All data and models are available in open domain.
- Abstract(参考訳): 近年、エンド・ツー・エンド(e2e)自動音声認識(asr)システムは十分な資源を与えられた有望な結果を得ている。
ラベル付きデータがあまりない言語でも、大量の高リソース言語を事前訓練し、低リソース言語を微調整することで、最先端のE2E ASRシステムを開発することができる。
多くの低リソース言語にとって、ラベリングされたデータはオープンドメインでは利用できないため、現在のアプローチはまだ難しい。
本稿では,テキストから音声への擬似ラベルを強制アライメントに用いることで,Maithili,Bhojpuri,Dogriのラベル付きデータを作成する手法を提案する。
生成されたデータは品質を検査され、さらにトランスフォーマーベースのwav2vec 2.0 asrモデルのトレーニングに使用された。
すべてのデータとモデルはオープンドメインで利用できる。
関連論文リスト
- Multilingual self-supervised speech representations improve the speech
recognition of low-resource African languages with codeswitching [65.74653592668743]
微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。
訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
論文 参考訳(メタデータ) (2023-11-25T17:05:21Z) - A Large-scale Dataset for Audio-Language Representation Learning [54.933479346870506]
本稿では,一連の公開ツールやAPIに基づいた,革新的で自動的な音声キャプション生成パイプラインを提案する。
我々はAuto-ACDという名前の大規模で高品質な音声言語データセットを構築し、190万以上の音声テキストペアからなる。
論文 参考訳(メタデータ) (2023-09-20T17:59:32Z) - Visual Speech Recognition for Languages with Limited Labeled Data using
Automatic Labels from Whisper [96.43501666278316]
本稿では,複数の言語を対象とした強力な視覚音声認識(VSR)手法を提案する。
言語識別と音声認識の両方が可能なWhisperモデルを用いる。
自動ラベルで訓練されたVSRモデルと人称ラベルで訓練したVSRモデルの性能を比較することにより,人間対応ラベルと類似のVSR性能が得られることを示す。
論文 参考訳(メタデータ) (2023-09-15T16:53:01Z) - Adapting Multilingual Speech Representation Model for a New,
Underresourced Language through Multilingual Fine-tuning and Continued
Pretraining [2.3513645401551333]
既存の多言語wav2vec 2.0モデルを新しい言語に適用する可能性を検討する。
この結果から, 継続事前学習がwav2vec 2.0モデルを新しい言語に適応させる最も効果的な方法であることが示唆された。
関連言語の種類や類似した音韻特性を持つ非関連言語で事前訓練されたモデルが利用可能である場合,その言語からの付加データを用いた多言語微調整は,音声認識性能に肯定的な影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2023-01-18T03:57:53Z) - Speech-to-Speech Translation For A Real-world Unwritten Language [62.414304258701804]
本研究では、ある言語から別の言語に音声を翻訳する音声音声翻訳(S2ST)について研究する。
我々は、トレーニングデータ収集、モデル選択、ベンチマークデータセットのリリースからエンドツーエンドのソリューションを提示します。
論文 参考訳(メタデータ) (2022-11-11T20:21:38Z) - An Automatic Speech Recognition System for Bengali Language based on
Wav2Vec2 and Transfer Learning [0.0]
本稿では,移動学習フレームワークに基づくE2E構造に音声認識技術を適用し,ベンガル語の音声認識性能を向上させることを目的とする。
提案手法はベンガル語を効果的にモデル化し,7747サンプルの試験データセット上で,1000サンプルのみを用いた場合,Levenshtein Mean Distance'の3.819スコアを達成した。
論文 参考訳(メタデータ) (2022-09-16T18:20:16Z) - Snow Mountain: Dataset of Audio Recordings of The Bible in Low Resource
Languages [0.6193838300896449]
我々は、低リソースの北インドの言語で聖書の音声録音をオープンライセンスでフォーマットしたデータセットをリリースする。
我々は、複数の実験分割を設定し、このデータを用いて将来の研究のベースラインとなる2つの競合ASRモデルを訓練し、分析する。
論文 参考訳(メタデータ) (2022-06-01T18:22:01Z) - Automatic Speech Recognition Datasets in Cantonese Language: A Survey
and a New Dataset [85.52036362232688]
私たちのデータセットは、香港のCandoneseオーディオブックから収集された、73.6時間のクリーンな読み上げ音声と書き起こしとの組み合わせで構成されています。
哲学、政治、教育、文化、ライフスタイル、家族の領域を組み合わせて、幅広いトピックをカバーしている。
MDCC と Common Voice zh-HK にマルチデータセット学習を適用することで,強力で堅牢な Cantonese ASR モデルを作成する。
論文 参考訳(メタデータ) (2022-01-07T12:09:15Z) - Bootstrap an end-to-end ASR system by multilingual training, transfer
learning, text-to-text mapping and synthetic audio [8.510792628268824]
限られたデータリソースでの音声認識のブートストラップは、長い間活発な研究領域だった。
本稿では,低資源環境下でRNN-Transducerに基づく音声認識システム(ASR)をブートストラップする様々な手法の有効性について検討する。
実験では,ASR後のテキスト・テキスト・マッピングと合成音声を用いた多言語モデルからの変換学習が付加的な改善をもたらすことを示した。
論文 参考訳(メタデータ) (2020-11-25T13:11:32Z) - Improving Cross-Lingual Transfer Learning for End-to-End Speech
Recognition with Speech Translation [63.16500026845157]
本稿では,対象言語に関する追加知識を組み込む補助課題として,音声からテキストへの翻訳を導入する。
人間の翻訳によるSTの訓練は必要ないことを示す。
低リソースMT(200K例)の擬似ラベルであっても、ST強化転送は直接転送に対して最大8.9%のWER還元をもたらす。
論文 参考訳(メタデータ) (2020-06-09T19:34:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。