論文の概要: Responsible Benchmarking of Fairness for Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2605.10615v1
• Date: Mon, 11 May 2026 14:11:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.881631
• Title: Responsible Benchmarking of Fairness for Automatic Speech Recognition
• Title（参考訳）: 音声認識におけるフェアネスの正当性ベンチマーク
• Authors: Felix Herron, Ange Richard, François Portet, Alexandre Allauzen, Solange Rossato,
• Abstract要約: 多くの研究は、話者群(SG)にまたがる不平等な性能を有する自動音声処理(ASR)システムを示している。 我々は、機械学習フェアネス、社会科学、音声科学の文献に基づいて、ASRフェアネスをベンチマークするためのベストプラクティスを策定する。 フェアネスコーパスのメタデータで利用できる限り多くの人口統計変数の交叉性を可能な限り詳細に分析することを提唱する。
• 参考スコア（独自算出の注目度）: 44.6396086462419
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many studies have shown automatic speech processing (ASR) systems have unequal performance across speakergroups (SG's). However, the manner in which such studies arrive at this conclusion is inconsistent. To pave the wayfor more reliable results in future studies, we lay out best practices for benchmarking ASR fairness based on literaturefrom machine learning fairness, social sciences, and speech science. We first describe the importance of preciselythe fairness hypothesis being interrogated, and tailoring fairness metrics to apply specifically to said hypothesis.We then examine several benchmarks used to rate ASR systems on fairness and discuss how their results can bemisconstrued without assiduous oversight into the intersections between SG's. We find that evaluating fairnessbased on single heterogeneous SG's, such as they are defined in fairness benchmarks, can lead to misidentifyingwhich SG's are actually being mistreated by ASR systems. We advocate for as fine-grained an analysis as possibleof the intersectionality of as many demographic variables as are available in the metadata of fairness corpora in orderto tease out such spurious correlations
• Abstract（参考訳）: 多くの研究で、自動音声処理(ASR)システムは話者群(SG)間で不平等な性能を示すことが示されている。 しかし、このような研究がこの結論に達する方法は矛盾しない。 今後の研究において、より信頼性の高い結果を得るために、機械学習フェアネス、社会科学、音声科学の文献に基づいて、ASRフェアネスをベンチマークするためのベストプラクティスを概説する。 まず,疑問視されている公正性仮説の重要性と,その仮説に特に当てはまる公平性指標を整理し,公正性に関するASRシステムの評価に使用したいくつかのベンチマークについて検討し,SG間の交点に対する監視を伴わずに,その結果をどのように解釈できるかを議論する。 フェアネスベンチマークで定義されているような、単一不均一なSGに基づいてフェアネスを評価することは、ASRシステムによって実際にどのSGが誤って扱われているのかを誤識別する可能性がある。 我々は,このような急激な相関関係を解明するために,公正コーパスのメタデータで利用できる限り多くの人口統計変数の交叉性を可能な限り詳細に分析することを提唱する。

関連論文リスト

• Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems [18.926129063000264]
  本研究では,複数のRAG法において,公正性を実証的に評価することを目的とする。 その結果,最近のユーティリティ駆動最適化の進歩にもかかわらず,検索と生成の両段階において公平性の問題が持続していることが示唆された。 これらの知見は、RAGパイプライン全体の公平性に対処するための標的的介入の必要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-09-29T22:04:26Z)
• Towards Fair RAG: On the Impact of Fair Ranking in Retrieval-Augmented Generation [53.285436927963865]
  本論文は,公正度を意識したランキングを組み込んだRAGシステムの最初の体系的評価である。 フェアネスを意識した検索を組み込むことで、ランキング品質と生成品質の両面を維持・強化することが少なくない。
  論文  参考訳（メタデータ） (2024-09-17T23:10:04Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• FairLENS: Assessing Fairness in Law Enforcement Speech Recognition [37.75768315119143]
  本研究では,異なるモデル間の公平さの相違を検証するための,新しい適応性評価手法を提案する。 我々は1つのオープンソースと11の商用 ASR モデルに対してフェアネスアセスメントを行った。
  論文  参考訳（メタデータ） (2024-05-21T19:23:40Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• A Study on Bias and Fairness In Deep Speaker Recognition [25.71206255965502]
  本稿では,近年の話者認識システムにおける公平性の概念について,統計的パリティ,等化オッド,等化オポチュニティの3つの一般的な定義に基づいて検討する。 SRシステムのトレーニングにおいて,一般的な5つのニューラルネットワークと5つの損失関数について検討し,性別や国籍グループに対する公正性を評価した。
  論文  参考訳（メタデータ） (2023-03-14T16:08:19Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。