論文の概要: ASR-FAIRBENCH: Measuring and Benchmarking Equity Across Speech Recognition Systems

• arxiv url: http://arxiv.org/abs/2505.11572v1
• Date: Fri, 16 May 2025 11:31:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.714302
• Title: ASR-FAIRBENCH: Measuring and Benchmarking Equity Across Speech Recognition Systems
• Title（参考訳）: ASR-FAIRBENCH:音声認識システム間の等価度の測定とベンチマーク
• Authors: Anand Rai, Satyam Rahangdale, Utkarsh Anand, Animesh Mukherjee,
• Abstract要約: ASR-FAIRBENCHのリーダーボードを導入し,ASRモデルの精度と等価性をリアルタイムで評価する。 提案手法は,人口集団間でのSOTA ASRモデルの性能格差を顕著に示し,より包括的なASR技術開発を促進するためのベンチマークを提供する。
• 参考スコア（独自算出の注目度）: 3.8947802481286478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic Speech Recognition (ASR) systems have become ubiquitous in everyday applications, yet significant disparities in performance across diverse demographic groups persist. In this work, we introduce the ASR-FAIRBENCH leaderboard which is designed to assess both the accuracy and equity of ASR models in real-time. Leveraging the Meta's Fair-Speech dataset, which captures diverse demographic characteristics, we employ a mixed-effects Poisson regression model to derive an overall fairness score. This score is integrated with traditional metrics like Word Error Rate (WER) to compute the Fairness Adjusted ASR Score (FAAS), providing a comprehensive evaluation framework. Our approach reveals significant performance disparities in SOTA ASR models across demographic groups and offers a benchmark to drive the development of more inclusive ASR technologies.
• Abstract（参考訳）: ASR(Automatic Speech Recognition)システムは、日常的な応用において広く普及しているが、多様な人口集団間での性能の相違が続いている。 本研究では、ASRモデルの精度とエクイティの両方をリアルタイムで評価するASR-FAIRBENCHリーダーボードについて紹介する。 多様な人口統計特性を捉えたMetaのFair-Speechデータセットを利用して、混合効果のPoisson回帰モデルを用いて、全体的なフェアネススコアを導出する。 このスコアはWord Error Rate(WER)のような従来のメトリクスと統合され、Fairness Adjusted ASR Score(FAAS)を計算し、包括的な評価フレームワークを提供する。 提案手法は,人口集団間でのSOTA ASRモデルの性能格差を顕著に示し,より包括的なASR技術開発を促進するためのベンチマークを提供する。

関連論文リスト

• Transferable Adversarial Attacks against ASR [43.766547483367795]
  最先端自動音声認識モデルにおける実用的なブラックボックス攻撃の脆弱性について検討する。 そこで本稿では,ASRに対する音声認識勾配最適化手法(SAGO)を提案する。 総合的な実験結果から,2つのデータベース上の5つのモデルにまたがるベースラインアプローチと比較して,性能が向上したことが明らかとなった。
  論文  参考訳（メタデータ） (2024-11-14T06:32:31Z)
• FairLENS: Assessing Fairness in Law Enforcement Speech Recognition [37.75768315119143]
  本研究では,異なるモデル間の公平さの相違を検証するための,新しい適応性評価手法を提案する。 我々は1つのオープンソースと11の商用 ASR モデルに対してフェアネスアセスメントを行った。
  論文  参考訳（メタデータ） (2024-05-21T19:23:40Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Cross-utterance ASR Rescoring with Graph-based Label Propagation [14.669201156515891]
  本稿では,グラフに基づくラベルの伝搬を反映した新しいASR N-best仮説を提案する。 従来のニューラルネットワークモデル(LM)をベースとしたASR再構成/格付けモデルとは対照的に,本手法は音響情報に重点を置いている。
  論文  参考訳（メタデータ） (2023-03-27T12:08:05Z)
• End-to-End Speech Recognition: A Survey [68.35707678386949]
  本調査の目的は、E2E ASRモデルの分類とそれに対応する改善を提供することである。 E2E ASRのすべての関連する側面は、パフォーマンスとデプロイメントの機会に関する議論を伴う、この作業でカバーされている。
  論文  参考訳（メタデータ） (2023-03-03T01:46:41Z)
• Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
  分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。 この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。 また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2021-10-12T17:58:59Z)
• Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative Adversarial Networks [10.723935272906461]
  近年, GAN (Generative Adversarial Network) を用いたエンド・ツー・エンド(E2E) ASRシステムの対戦訓練について検討している。 GAN目標を用いた事前学習型ASRモデルの微調整のための新しいフレームワークを提案する。 提案手法は,ベースラインと従来のGANベースの対戦モデルより優れている。
  論文  参考訳（メタデータ） (2021-03-10T17:40:48Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。