論文の概要: FairLENS: Assessing Fairness in Law Enforcement Speech Recognition

• arxiv url: http://arxiv.org/abs/2405.13166v2
• Date: Tue, 28 May 2024 19:10:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 22:22:47.123123
• Title: FairLENS: Assessing Fairness in Law Enforcement Speech Recognition
• Title（参考訳）: FairLENS: 法執行音声認識における公正性の評価
• Authors: Yicheng Wang, Mark Cusick, Mohamed Laila, Kate Puech, Zhengping Ji, Xia Hu, Michael Wilson, Noah Spitzer-Williams, Bryan Wheeler, Yasser Ibrahim,
• Abstract要約: 本研究では,異なるモデル間の公平さの相違を検証するための,新しい適応性評価手法を提案する。 我々は1つのオープンソースと11の商用 ASR モデルに対してフェアネスアセスメントを行った。
• 参考スコア（独自算出の注目度）: 37.75768315119143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic speech recognition (ASR) techniques have become powerful tools, enhancing efficiency in law enforcement scenarios. To ensure fairness for demographic groups in different acoustic environments, ASR engines must be tested across a variety of speakers in realistic settings. However, describing the fairness discrepancies between models with confidence remains a challenge. Meanwhile, most public ASR datasets are insufficient to perform a satisfying fairness evaluation. To address the limitations, we built FairLENS - a systematic fairness evaluation framework. We propose a novel and adaptable evaluation method to examine the fairness disparity between different models. We also collected a fairness evaluation dataset covering multiple scenarios and demographic dimensions. Leveraging this framework, we conducted fairness assessments on 1 open-source and 11 commercially available state-of-the-art ASR models. Our results reveal that certain models exhibit more biases than others, serving as a fairness guideline for users to make informed choices when selecting ASR models for a given real-world scenario. We further explored model biases towards specific demographic groups and observed that shifts in the acoustic domain can lead to the emergence of new biases.
• Abstract（参考訳）: 自動音声認識(ASR)技術は強力なツールとなり、法執行のシナリオにおける効率性を高めている。 異なる音響環境における人口集団の公平性を確保するために、ASRエンジンは現実的な設定で様々な話者間でテストされなければならない。 しかし、信頼性のあるモデル間の公平性の違いを説明することは依然として困難である。 一方、ほとんどのパブリックなASRデータセットは満足のいく公正性評価を行うには不十分である。 この制限に対処するため、系統的な公平性評価フレームワークであるFairLENSを構築しました。 本研究では,異なるモデル間の公平さの相違を検証するための,新しい適応性評価手法を提案する。 また、複数のシナリオと人口統計次元をカバーする公平性評価データセットも収集した。 このフレームワークを活用することで、1つのオープンソースと11の商用利用可能な最先端のASRモデルに対して公平性の評価を行った。 以上の結果から,特定の実世界のシナリオに対してASRモデルを選択する際に,ユーザが情報選択を行うためのフェアネスガイドラインとして機能するモデルが,他のモデルよりも多くのバイアスを示すことが明らかとなった。 さらに、特定の人口集団に対するモデルバイアスについて検討し、音響領域の変化が新しいバイアスの出現につながることを観察した。

関連論文リスト

• From Efficiency to Equity: Measuring Fairness in Preference Learning [3.2132738637761027]
  不平等とロウルシアン正義の経済理論に触発された嗜好学習モデルの公平性を評価する。 Gini Coefficient, Atkinson Index, Kuznets Ratio を用いて,これらのモデルの公平性を定量化するための指標を提案する。
  論文  参考訳（メタデータ） (2024-10-24T15:25:56Z)
• Fairness Evaluation with Item Response Theory [10.871079276188649]
  本稿では機械学習(ML)モデルにおける公平性を評価するための新しいFair-IRTフレームワークを提案する。 項目特性曲線(ICC)の詳細な説明は、特定の個人に対して提供される。 公平性評価ツールとしてのこのフレームワークの有効性を実証する実験を行った。
  論文  参考訳（メタデータ） (2024-10-20T22:25:20Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision [73.80009454050858]
  この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。 我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-15T07:13:54Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Beyond Individual and Group Fairness [90.4666341812857]
  本稿では,不公平な不公平な苦情に導かれる公平さの新しいデータ駆動モデルを提案する。 我々のモデルは、複数のフェアネス基準をサポートし、それらの潜在的な不整合を考慮に入れている。
  論文  参考訳（メタデータ） (2020-08-21T14:14:44Z)
• Fairness by Explicability and Adversarial SHAP Learning [0.0]
  本稿では,外部監査役の役割とモデル説明可能性を強調するフェアネスの新たな定義を提案する。 逆代理モデルのSHAP値から構築した正規化を用いてモデルバイアスを緩和するフレームワークを開発する。 合成データセット、UCIアダルト(国勢調査)データセット、実世界の信用評価データセットである。
  論文  参考訳（メタデータ） (2020-03-11T14:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。