Fugu-MT 論文翻訳(概要): Self-supervised Speech Representations Still Struggle with African American Vernacular English

論文の概要: Self-supervised Speech Representations Still Struggle with African American Vernacular English

arxiv url: http://arxiv.org/abs/2408.14262v1
Date: Mon, 26 Aug 2024 13:29:25 GMT
ステータス: 処理完了
システム内更新日: 2024-08-27 13:51:27.184707
Title: Self-supervised Speech Representations Still Struggle with African American Vernacular English
Title（参考訳）: アフリカ系アメリカ人の英語を話す自己教師型音声表現
Authors: Kalvin Chang, Yi-Hui Chou, Jiatong Shi, Hsuan-Ming Chen, Nicole Holliday, Odette Scharenborg, David R. Mortensen,
Abstract要約: 疎化言語変種話者のためのASRシステムの低性能化は、よく文書化された現象である。 AAVEとメインストリーム・アメリカン・イングリッシュのASR性能のギャップを埋めることができるかどうかを検討する。
参考スコア（独自算出の注目度）: 28.223877889211803
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Underperformance of ASR systems for speakers of African American Vernacular English (AAVE) and other marginalized language varieties is a well-documented phenomenon, and one that reinforces the stigmatization of these varieties. We investigate whether or not the recent wave of Self-Supervised Learning (SSL) speech models can close the gap in ASR performance between AAVE and Mainstream American English (MAE). We evaluate four SSL models (wav2vec 2.0, HuBERT, WavLM, and XLS-R) on zero-shot Automatic Speech Recognition (ASR) for these two varieties and find that these models perpetuate the bias in performance against AAVE. Additionally, the models have higher word error rates on utterances with more phonological and morphosyntactic features of AAVE. Despite the success of SSL speech models in improving ASR for low resource varieties, SSL pre-training alone may not bridge the gap between AAVE and MAE. Our code is publicly available at https://github.com/cmu-llab/s3m-aave.
Abstract（参考訳）: アフリカン・アメリカン・ヴァーナクル・イングリッシュ (AAVE) の話者に対するASRシステムの性能の過小評価は、十分に文書化された現象であり、これら品種のスティグマティゼーションを強化するものである。 AAVEとメインストリーム・アメリカン・イングリッシュ(MAE)のASR性能のギャップを埋めることができるかどうかを検討する。我々はこれらの2種類のゼロショット自動音声認識(ASR)に対して、4つのSSLモデル(wav2vec 2.0, HuBERT, WavLM, XLS-R)を評価し、これらのモデルがAAVEに対する性能バイアスを持続することを発見した。さらに、これらのモデルは、AAVEのより音韻学的および形態論的特徴を持つ発話における単語誤り率が高い。 SSL音声モデルが低資源品種のASRの改善に成功しているにもかかわらず、SSL事前トレーニングだけではAAVEとMAEのギャップを埋めることはできない。私たちのコードはhttps://github.com/cmu-llab/s3m-aave.comで公開されています。

関連論文リスト

One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [55.35278531907263]
本稿では,大言語モデルの公平性と頑健性に関する最初の研究を標準的推論タスクにおける方言に提示する。我々は、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えるために、AAVEスピーカーを採用。標準英語と比較して、これらの広く使われているモデルのほとんどは、AAVEのクエリに対して重大な脆さと不公平さを示している。
論文参考訳（メタデータ） (2024-10-14T18:44:23Z)
Self-supervised ASR Models and Features For Dysarthric and Elderly Speech Recognition [71.87998918300806]
本稿では,TDNNとConformer ASRシステムにSSLプリトレーニングモデルとその機能を統合するアプローチについて検討する。ドメイン適応型HuBERT、wav2vec2-conformer、マルチ言語型XLSRモデルを統合することで構築されたTDNNシステムは、スタンドアロンの微調整型SSL事前訓練モデルより一貫して優れている。 DementiaBank Pitt の高齢者音声認識出力を用いて,アルツハイマー病の検出精度の向上も行った。
論文参考訳（メタデータ） (2024-07-03T08:33:39Z)
Improving Speech Recognition for African American English With Audio Classification [17.785482810741367]
本稿では,少数のドメイン外データを用いて,米国英語短波形音声認識器の頑健性を向上させる新しい手法を提案する。このデータを微調整すると、MAEの品質を低下させることなくAAEとMAEの間で38.5%の単語誤り率格差が減少する。
論文参考訳（メタデータ） (2023-09-16T19:57:45Z)
ML-SUPERB: Multilingual Speech Universal PERformance Benchmark [73.65853301350042]
音声処理Universal PERformance Benchmark (SUPERB) は、音声処理タスクにおける自己監督学習(SSL)モデルの性能をベンチマークするためのリーダーボードである。本稿では,言語認識と言語識別の両方を考慮した多言語SUPERBを提案する。 SUPERBベンチマークと同様、音声SSLモデルはFBANKよりも性能が大幅に向上する。
論文参考訳（メタデータ） (2023-05-18T00:01:27Z)
Self-supervised Neural Factor Analysis for Disentangling Utterance-level Speech Representations [30.293081541301746]
wav2vecやHuBERTのような自己教師付き学習(SSL)音声モデルは、音声認識における最先端の性能を実証している。この問題は,不整合表現の欠如と発話レベルの学習目標が原因である。我々のモデルは、SUPERBベンチマークの全ての発話レベル非意味タスクにおいて、ラベル付きデータのわずか20%で、現在の最高のモデルであるWavLMより優れています。
論文参考訳（メタデータ） (2023-05-14T08:26:24Z)
The Ability of Self-Supervised Speech Models for Audio Representations [53.19715501273934]
自己教師付き学習(SSL)音声モデルは、音声表現学習において前例のない成功を収めた。我々は、最先端のSSL音声モデルの表現能力を評価するために、豊富な音声および非音声音声データセットに関する広範な実験を行う。結果から、SSL音声モデルは幅広い非音声音声の有意義な特徴を抽出できるが、特定の種類のデータセットではフェールする可能性があることが示された。
論文参考訳（メタデータ） (2022-09-26T15:21:06Z)
VALUE: Understanding Dialect Disparity in NLU [50.35526025326337]
アフリカ・アメリカン・バーナクラ・イングリッシュ(AAVE)の11つの特徴に関するルールを構築した。言語的アクセプタビリティ判断により,各特徴変換の検証を行うために,流線型AAVE話者を募集する。実験により、これらの新しい方言の特徴がモデル性能の低下につながることが示された。
論文参考訳（メタデータ） (2022-04-06T18:30:56Z)
Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition [15.136348385992047]
本研究では, 変形性関節症に対するASRシステムの訓練機能として, Wav2Vec を用いた自己教師型音声表現の有用性について検討した。我々は、Wav2Vec、Hubert、および言語間XLSRモデルから抽出された特徴を持つ音響モデルを訓練する。結果から,大容量データに事前学習した音声表現は,単語誤り率(WER)を向上する可能性が示唆された。
論文参考訳（メタデータ） (2022-04-04T17:36:01Z)
Sequence-level self-learning with multiple hypotheses [53.04725240411895]
我々は、自動音声認識(ASR)のためのアテンションベースシーケンス・ツー・シーケンス(seq2seq)モデルを用いた新しい自己学習手法を開発した。従来の教師なし学習手法とは対照的に,我々はEmphmulti-task Learning(MTL)フレームワークを採用する。実験の結果,本手法は,英語データのみを用いてトレーニングしたベースラインモデルと比較して,英文音声データのWERを14.55%から10.36%に削減できることがわかった。
論文参考訳（メタデータ） (2021-12-10T20:47:58Z)
Continual-wav2vec2: an Application of Continual Learning for Self-Supervised Automatic Speech Recognition [0.23872611575805824]
自己教師付き学習(SSL)を用いた複数言語における音声表現の連続学習法を提案する。 Wav2vecモデルは、事前トレーニングフェーズで生オーディオ上でSSLを実行し、アノテートされた少数のデータに対して微調整を行う。新しい言語タスクの事前学習を高速化するために、継続学習からのアイデアを、以前のタスクから知識を伝達するために使用します。
論文参考訳（メタデータ） (2021-07-26T10:39:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。