論文の概要: Automatic Pronunciation Assessment using Self-Supervised Speech
Representation Learning
- arxiv url: http://arxiv.org/abs/2204.03863v1
- Date: Fri, 8 Apr 2022 06:13:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-11 13:41:44.880394
- Title: Automatic Pronunciation Assessment using Self-Supervised Speech
Representation Learning
- Title(参考訳): 自己教師付き音声表現学習による発音自動評価
- Authors: Eesung Kim, Jae-Jin Jeon, Hyeji Seo, Hoon Kim
- Abstract要約: 自己教師付き学習(SSL)モデルに基づく新しい発音評価手法を提案する。
提案手法は,英単語学習者の英語発音に適応するために,事前学習したSSLモデルを接続型時間分類で微調整する。
提案手法は,韓国のESL学習者とSpeechocean762のデータセットに基づいて,ピアソン相関係数を用いてベースラインよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 13.391307807956673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning (SSL) approaches such as wav2vec 2.0 and HuBERT
models have shown promising results in various downstream tasks in the speech
community. In particular, speech representations learned by SSL models have
been shown to be effective for encoding various speech-related characteristics.
In this context, we propose a novel automatic pronunciation assessment method
based on SSL models. First, the proposed method fine-tunes the pre-trained SSL
models with connectionist temporal classification to adapt the English
pronunciation of English-as-a-second-language (ESL) learners in a data
environment. Then, the layer-wise contextual representations are extracted from
all across the transformer layers of the SSL models. Finally, the automatic
pronunciation score is estimated using bidirectional long short-term memory
with the layer-wise contextual representations and the corresponding text. We
show that the proposed SSL model-based methods outperform the baselines, in
terms of the Pearson correlation coefficient, on datasets of Korean ESL learner
children and Speechocean762. Furthermore, we analyze how different
representations of transformer layers in the SSL model affect the performance
of the pronunciation assessment task.
- Abstract(参考訳): wav2vec 2.0やHuBERTモデルのような自己教師型学習(SSL)アプローチは、音声コミュニティの様々な下流タスクにおいて有望な結果を示している。
特に、SSLモデルで学習した音声表現は、様々な音声関連特性を符号化するのに有効であることが示されている。
そこで本研究では,SSLモデルに基づく発音自動評価手法を提案する。
提案手法は,データ環境下での英語学習者の英語発音に適応するために,事前学習したSSLモデルを接続時分類で微調整する。
そして、sslモデルのトランスフォーマー層全体から、レイヤ毎のコンテキスト表現を抽出する。
最後に、階層的文脈表現と対応するテキストを用いた双方向長短期記憶を用いて自動発音スコアを推定する。
提案手法は,韓国のESL学習者とSpeechocean762のデータセットに基づいて,ピアソン相関係数を用いてベースラインよりも優れていることを示す。
さらに、SSLモデルにおけるトランスフォーマー層の異なる表現が発音評価タスクの性能にどのように影響するかを分析する。
関連論文リスト
- Mispronunciation detection using self-supervised speech representations [10.010024759851142]
本稿では,第2言語学習者の誤発音検出作業におけるSSLモデルの利用について検討する。
そこで本研究では,1)母国英語データを用いた音声認識モデルの訓練,2)非母国英語データを用いた目標タスクのためのモデルを直接訓練する,という2つのダウンストリームアプローチを比較した。
論文 参考訳(メタデータ) (2023-07-30T21:20:58Z) - Self-supervised Neural Factor Analysis for Disentangling Utterance-level
Speech Representations [30.293081541301746]
wav2vecやHuBERTのような自己教師付き学習(SSL)音声モデルは、音声認識における最先端の性能を実証している。
この問題は,不整合表現の欠如と発話レベルの学習目標が原因である。
我々のモデルは、SUPERBベンチマークの全ての発話レベル非意味タスクにおいて、ラベル付きデータのわずか20%で、現在の最高のモデルであるWavLMより優れています。
論文 参考訳(メタデータ) (2023-05-14T08:26:24Z) - Evidence of Vocal Tract Articulation in Self-Supervised Learning of
Speech [15.975756437343742]
最近の自己教師付き学習(SSL)モデルは、音声の豊かな表現を学習することが証明されている。
EMA(Electronic Articulography)による音声表現と音声軌跡を関連付けるための包括的分析を行う。
以上の結果から, SSLモデルは連続的な調音と密接に一致し, 音声SSLに関する新たな知見を提供する。
論文 参考訳(メタデータ) (2022-10-21T04:24:29Z) - Deploying self-supervised learning in the wild for hybrid automatic
speech recognition [20.03807843795386]
自己教師付き学習(SSL)法は自動音声認識(ASR)において非常に成功したことが証明されている。
我々は、データ前処理からストリーミングハイブリッドASRモデルのデプロイまで、SSLの未転写オーディオデータを利用する方法を示す。
論文 参考訳(メタデータ) (2022-05-17T19:37:40Z) - Self-Supervised Learning for speech recognition with Intermediate layer
supervision [52.93758711230248]
自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。
ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。
LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2021-12-16T10:45:05Z) - UniSpeech-SAT: Universal Speech Representation Learning with Speaker
Aware Pre-Training [72.004873454347]
教師なし話者情報抽出の2つの手法が導入された。
SUPERBベンチマークによる実験結果から,提案方式は最先端の性能を実現することが示された。
トレーニングデータセットを94万時間公開オーディオデータにスケールアップし、さらなるパフォーマンス向上を実現しています。
論文 参考訳(メタデータ) (2021-10-12T05:43:30Z) - LeBenchmark: A Reproducible Framework for Assessing Self-Supervised
Representation Learning from Speech [63.84741259993937]
膨大なラベルのないデータを用いた自己教師付き学習(SSL)は、画像処理と自然言語処理に成功している。
最近の研究では、音声からSSLも調べた。
音声からSSLを評価する再現可能なフレームワークであるLeBenchmarkを提案する。
論文 参考訳(メタデータ) (2021-04-23T08:27:09Z) - Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。
SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。
gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
論文 参考訳(メタデータ) (2021-02-22T03:43:45Z) - SPLAT: Speech-Language Joint Pre-Training for Spoken Language
Understanding [61.02342238771685]
音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。
大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。
音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
論文 参考訳(メタデータ) (2020-10-05T19:29:49Z) - Cross-lingual Spoken Language Understanding with Regularized
Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。
言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-09-30T08:56:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。