論文の概要: Earnings-22: A Practical Benchmark for Accents in the Wild

• arxiv url: http://arxiv.org/abs/2203.15591v1
• Date: Tue, 29 Mar 2022 14:02:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 14:11:30.980855
• Title: Earnings-22: A Practical Benchmark for Accents in the Wild
• Title（参考訳）: Earnings-22: ワイルドなアクセントのための実践的なベンチマーク
• Authors: Miguel Del Rio, Peter Ha, Quinten McNamara, Corey Miller, Shipra Chandra
• Abstract要約: Earnings-22は125のファイルで、119時間に119回の英語による決算報告を世界企業から集めています。 個々の単語誤り率(IWER)を調べることで、重要な音声特徴が特定のアクセントに対して、他のアクセントよりもモデル性能に影響を及ぼすことが分かる。
• 参考スコア（独自算出の注目度）: 0.8039067099377079
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern automatic speech recognition (ASR) systems have achieved superhuman Word Error Rate (WER) on many common corpora despite lacking adequate performance on speech in the wild. Beyond that, there is a lack of real-world, accented corpora to properly benchmark academic and commercial models. To ensure this type of speech is represented in ASR benchmarking, we present Earnings-22, a 125 file, 119 hour corpus of English-language earnings calls gathered from global companies. We run a comparison across 4 commercial models showing the variation in performance when taking country of origin into consideration. Looking at hypothesis transcriptions, we explore errors common to all ASR systems tested. By examining Individual Word Error Rate (IWER), we find that key speech features impact model performance more for certain accents than others. Earnings-22 provides a free-to-use benchmark of real-world, accented audio to bridge academic and industrial research.
• Abstract（参考訳）: 現代の自動音声認識(asr)システムは、野放しの音声認識性能に欠けるにもかかわらず、多くの一般的なコーパスで超人的単語誤り率(wer)を達成した。 それ以外にも、学術モデルや商業モデルの適切なベンチマークを行うために、実世界のアクセント付きコーパスが欠如している。 このタイプのスピーチがASRベンチマークで確実に表現されるように、グローバル企業から集められた125のファイル、119時間の英文通話コーパスであるEarnings-22を提示する。 我々は、原産地を考慮した場合のパフォーマンスの変動を示す4つの商用モデルの比較を行った。 仮説の書き起こしを見ると、テストされた全てのASRシステムに共通する誤りを探索する。 個々の単語誤り率(iwer)を調べると、重要な音声特徴は他のアクセントよりもモデルのパフォーマンスに影響を及ぼすことが分かる。 earnings-22は、学術的および産業的な研究を橋渡しするための、実世界のアクセント付きオーディオの無料利用ベンチマークを提供する。

関連論文リスト

• One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [55.35278531907263]
  本稿では,大言語モデルの公平性と頑健性に関する最初の研究を標準的推論タスクにおける方言に提示する。 我々は、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えるために、AAVEスピーカーを採用。 標準英語と比較して、これらの広く使われているモデルのほとんどは、AAVEのクエリに対して重大な脆さと不公平さを示している。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Reexamining Racial Disparities in Automatic Speech Recognition Performance: The Role of Confounding by Provenance [7.882996636086014]
  自動音声認識(ASR)モデルとその使用法は公平かつ公平であることが重要である。 この研究は、現在の最先端のニューラルネットワークベースのASRシステムの性能を調べることによって、この格差の根底にある要因を理解することを目的としている。
  論文  参考訳（メタデータ） (2024-07-19T02:14:17Z)
• Towards Unsupervised Speech Recognition Without Pronunciation Models [57.222729245842054]
  ほとんどの言語では、音声認識システムを効果的に訓練するのに十分なペア音声とテキストデータがない。 本稿では、教師なしASRシステムを開発するために、音素レキシコンへの依存を除去することを提案する。 音声合成とテキスト・テキスト・マスクによるトークン埋込から教師なし音声認識が実現可能であることを実験的に実証した。
  論文  参考訳（メタデータ） (2024-06-12T16:30:58Z)
• A Deep Dive into the Disparity of Word Error Rates Across Thousands of NPTEL MOOC Videos [4.809236881780707]
  英語のSsim9.8$Kの技術講義とインド・デモグラフィーの様々な部分を表すインストラクターによる書き起こしからなる8740時間の大規模音声データセットのキュレーションについて述べる。 私たちは、キュレートされたデータセットを使用して、インドの多様な話者の人口統計学的特徴にまたがる、YouTube Automatic CaptionsとOpenAI Whisperモデルのパフォーマンスの既存の格差を測定します。
  論文  参考訳（メタデータ） (2023-07-20T05:03:00Z)
• Sequence-level self-learning with multiple hypotheses [53.04725240411895]
  我々は、自動音声認識(ASR)のためのアテンションベースシーケンス・ツー・シーケンス(seq2seq)モデルを用いた新しい自己学習手法を開発した。 従来の教師なし学習手法とは対照的に,我々はEmphmulti-task Learning(MTL)フレームワークを採用する。 実験の結果,本手法は,英語データのみを用いてトレーニングしたベースラインモデルと比較して,英文音声データのWERを14.55%から10.36%に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-12-10T20:47:58Z)
• ASR4REAL: An extended benchmark for speech models [19.348785785921446]
  モデルにおけるバイアスや弱点の発見を目的とした,実生活条件に適合するベンチマークのセットを紹介する。 その結果,近年のモデルでは男女差がみられていないものの,アクセントによる重要なパフォーマンスの相違が見られることが判明した。 テストされたすべてのモデルは、会話音声でのテストでは、強いパフォーマンス低下を示す。
  論文  参考訳（メタデータ） (2021-10-16T14:34:25Z)
• An Exploration of Self-Supervised Pretrained Representations for End-to-End Speech Recognition [98.70304981174748]
  本稿では,事前訓練された音声表現の一般応用,高度なエンドツーエンド自動音声認識(E2E-ASR)モデルに焦点をあてる。 いくつかの事前訓練された音声表現を選択し、E2E-ASRのための様々なオープンソースおよび公開コーパスの実験結果を示す。
  論文  参考訳（メタデータ） (2021-10-09T15:06:09Z)
• English Accent Accuracy Analysis in a State-of-the-Art Automatic Speech Recognition System [3.4888132404740797]
  様々なラベル付き英語アクセントを持つコーパスからの未認識データを用いて,最先端の自動音声認識モデルを評価する。 本研究は,アクセントの多様性に関して,訓練コーパスで最も普及しているアクセントに有利な正確性バイアスが存在することを示す。
  論文  参考訳（メタデータ） (2021-05-09T08:24:33Z)
• LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech [63.84741259993937]
  膨大なラベルのないデータを用いた自己教師付き学習(SSL)は、画像処理と自然言語処理に成功している。 最近の研究では、音声からSSLも調べた。 音声からSSLを評価する再現可能なフレームワークであるLeBenchmarkを提案する。
  論文  参考訳（メタデータ） (2021-04-23T08:27:09Z)
• Earnings-21: A Practical Benchmark for ASR in the Wild [4.091202801240259]
  Earnings-21は、9つの異なる金融セクターからのエンティティディセンススピーチを含む39時間の収益コールコーパスです。 我々は、4つの商用ASRモデル、オープンソースツールで構築された2つの内部モデル、オープンソースのLibriSpeechモデルをベンチマークする。 解析の結果,特定のnerカテゴリのasr精度は低く,理解と使用の書き起こしに重大な障害が生じた。
  論文  参考訳（メタデータ） (2021-04-22T23:04:28Z)
• Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource End-to-End Speech Recognition [62.94773371761236]
  我々は、OOVレートの高い低リソースセットアップで効果的なエンドツーエンドASRシステムを構築することを検討します。 本稿では,BPE-dropout法に基づく動的音響ユニット拡張法を提案する。 我々の単言語トルココンフォーマーは22.2%の文字誤り率(CER)と38.9%の単語誤り率(WER)の競争結果を確立した。
  論文  参考訳（メタデータ） (2021-03-12T10:10:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。