論文の概要: How to Evaluate Automatic Speech Recognition: Comparing Different Performance and Bias Measures

• arxiv url: http://arxiv.org/abs/2507.05885v1
• Date: Tue, 08 Jul 2025 11:17:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.940133
• Title: How to Evaluate Automatic Speech Recognition: Comparing Different Performance and Bias Measures
• Title（参考訳）: 音声認識の評価方法:性能とバイアスの異なる比較
• Authors: Tanvina Patel, Wiebke Hutiri, Aaron Yi Ding, Odette Scharenborg,
• Abstract要約: オランダ語におけるエンドツーエンドのASRシステムを評価するため,文献と提案から,異なる性能とバイアスの尺度を比較した。 この結果は、ASR研究の標準である平均誤差率だけでは不十分であり、他の手段で補う必要があることを示している。 この論文は、多様な話者グループに対するシステムのパフォーマンスをより良く表現するために、ASRのパフォーマンスとバイアスを報告するための勧告で締めくくられる。
• 参考スコア（独自算出の注目度）: 15.722009470067974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is increasingly more evidence that automatic speech recognition (ASR) systems are biased against different speakers and speaker groups, e.g., due to gender, age, or accent. Research on bias in ASR has so far primarily focused on detecting and quantifying bias, and developing mitigation approaches. Despite this progress, the open question is how to measure the performance and bias of a system. In this study, we compare different performance and bias measures, from literature and proposed, to evaluate state-of-the-art end-to-end ASR systems for Dutch. Our experiments use several bias mitigation strategies to address bias against different speaker groups. The findings reveal that averaged error rates, a standard in ASR research, alone is not sufficient and should be supplemented by other measures. The paper ends with recommendations for reporting ASR performance and bias to better represent a system's performance for diverse speaker groups, and overall system bias.
• Abstract（参考訳）: 自動音声認識(ASR)システムは、性別、年齢、アクセントなどによって、異なる話者や話者グループに対して偏っているという証拠が増えている。 ASRにおけるバイアスの研究は、これまで主にバイアスの検出と定量化、緩和アプローチの開発に重点を置いてきた。 この進歩にもかかわらず、オープンな疑問は、システムのパフォーマンスとバイアスを測定する方法である。 本研究では,オランダ語における最先端のASRシステムを評価するために,文献と提案から異なる性能とバイアス尺度を比較した。 実験では、異なる話者グループに対するバイアスに対処するために、いくつかのバイアス緩和戦略を用いている。 この結果は、ASR研究の標準である平均誤差率だけでは不十分であり、他の手段で補う必要があることを示している。 この論文は、多様な話者グループに対するシステムのパフォーマンスをより良く表現するために、ASRのパフォーマンスとバイアスを報告するための勧告で締めくくられる。

関連論文リスト

• CO-VADA: A Confidence-Oriented Voice Augmentation Debiasing Approach for Fair Speech Emotion Recognition [49.27067541740956]
  モデルアーキテクチャの変更や人口統計情報への依存を伴わずにバイアスを緩和する信頼性指向音声強調脱バイアス手法であるCO-VADAを提案する。 CO-VADAはトレーニングデータに存在するバイアスパターンを反映したトレーニングサンプルを特定し、無関係な属性を変更してサンプルを生成するために音声変換を適用する。 我々のフレームワークは様々なSERモデルや音声変換ツールと互換性があり、SERシステムの公平性を改善するためのスケーラブルで実用的なソリューションとなっている。
  論文  参考訳（メタデータ） (2025-06-06T13:25:56Z)
• EMO-Debias: Benchmarking Gender Debiasing Techniques in Multi-Label Speech Emotion Recognition [49.27067541740956]
  EMO-Debiasは、マルチラベルSERに適用された13のデバイアス手法の大規模比較である。 本研究は, 事前処理, 正規化, 逆学習, バイアス学習者, 分散的ロバストな最適化といった手法を含む。 本分析は公平性と正確性の間のトレードオフを定量化し,どのアプローチが一貫して性差を減少させるのかを同定する。
  論文  参考訳（メタデータ） (2025-06-05T05:48:31Z)
• Measuring and Addressing Indexical Bias in Information Retrieval [69.7897730778898]
  PAIRフレームワークは、ランキングドキュメンテーションやIRシステム全体の自動バイアス監査をサポートする。 DUOを導入した後、我々は32kの合成と4.7kの天然文書からなる新しいコーパスで8つのIRシステムの広範な評価を行った。 人間の行動学的研究は、私たちのアプローチを検証し、私たちのバイアスメトリクスが、いつ、どのように指標バイアスが読者の意見を変えるかを予測するのに役立ちます。
  論文  参考訳（メタデータ） (2024-06-06T17:42:37Z)
• The Balancing Act: Unmasking and Alleviating ASR Biases in Portuguese [5.308321515594125]
  本研究は,Whisper および MMS システムの総合的な探索を目的としたものである。 調査対象は性別,年齢,肌の色,位置情報など多岐にわたる。 オーバーサンプリング技術がこのようなステレオタイプバイアスを軽減することを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-12T09:35:13Z)
• Debiased Automatic Speech Recognition for Dysarthric Speech via Sample Reweighting with Sample Affinity Test [11.223191305716071]
  試料親和性試験(Re-SAT)による試料再加重法を提案する。 Re-SATは、与えられたデータサンプルの脱バイアス有用度を測定し、その後、有用度に基づくサンプル再重み付けの脱バイアスによってバイアスを緩和する。 その結果,Re-SATは健常者音声のパフォーマンス劣化を伴わない変形性難聴者音声のASR改善に寄与することが示された。
  論文  参考訳（メタデータ） (2023-05-22T15:09:27Z)
• Evaluating generative audio systems and their metrics [80.97828572629093]
  本報告では,従来提案されていた音声再建のための目標尺度のセットと,聴取研究を併用して,最先端のアプローチについて検討する。 その結果、現在使われている客観的指標は、現在のシステムの知覚的品質を記述するのに不十分であることが示唆された。
  論文  参考訳（メタデータ） (2022-08-31T21:48:34Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Quantifying Bias in Automatic Speech Recognition [28.301997555189462]
  本稿では,オランダのsoma asrシステムの性別,年齢,地域アクセント,非母語アクセントに対するバイアスを定量化する。 本研究では,ASR開発におけるバイアス緩和戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-28T12:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。