論文の概要: As Biased as You Measure: Methodological Pitfalls of Bias Evaluations in Speaker Verification Research
- arxiv url: http://arxiv.org/abs/2408.13614v1
- Date: Sat, 24 Aug 2024 16:04:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 18:49:22.100071
- Title: As Biased as You Measure: Methodological Pitfalls of Bias Evaluations in Speaker Verification Research
- Title（参考訳）: あなたが測定するバイアス:話者検証研究におけるバイアス評価の方法論的落とし穴
- Authors: Wiebke Hutiri, Tanvina Patel, Aaron Yi Ding, Odette Scharenborg,
- Abstract要約: 本研究では,測定がバイアス評価の結果に与える影響について検討する。
偏見評価は,評価基準値に強く影響されていることを示す。
以上の結果から,比に基づく偏差測定の活用を推奨する。
- 参考スコア（独自算出の注目度）: 15.722009470067974
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detecting and mitigating bias in speaker verification systems is important, as datasets, processing choices and algorithms can lead to performance differences that systematically favour some groups of people while disadvantaging others. Prior studies have thus measured performance differences across groups to evaluate bias. However, when comparing results across studies, it becomes apparent that they draw contradictory conclusions, hindering progress in this area. In this paper we investigate how measurement impacts the outcomes of bias evaluations. We show empirically that bias evaluations are strongly influenced by base metrics that measure performance, by the choice of ratio or difference-based bias measure, and by the aggregation of bias measures into meta-measures. Based on our findings, we recommend the use of ratio-based bias measures, in particular when the values of base metrics are small, or when base metrics with different orders of magnitude need to be compared.
- Abstract（参考訳）: 話者認証システムにおけるバイアスの検出と緩和は重要であり、データセット、処理の選択、アルゴリズムはパフォーマンスの違いをもたらす可能性がある。
これまでの研究では、偏見を評価するために、グループ間でのパフォーマンスの違いを測定してきた。
しかし、研究全体での結果を比較すると、矛盾する結論を導き、この分野の進歩を妨げることが判明する。
本稿では,測定がバイアス評価の結果に与える影響について検討する。
偏差評価は, 性能測定基準, 比あるいは差分に基づく偏差尺度の選択, メタ尺度への偏差測定の集約によって, 強い影響を受けていることを実証的に示す。
特に,基準値の値が小さい場合や,大きさの異なる基準値を比較する必要がある場合などについて検討した。
関連論文リスト
- Comprehensive Equity Index (CEI): Definition and Application to Bias Evaluation in Biometrics [47.762333925222926]
本稿では,機械学習モデルのバイアス行動の定量化のための新しい指標を提案する。
顔認識システムの運用評価に焦点をあて,適用する。
論文 参考訳（メタデータ） (2024-09-03T14:19:38Z) - When mitigating bias is unfair: multiplicity and arbitrariness in algorithmic group fairness [8.367620276482056]
本稿では,5次元によるバイアス緩和を評価するFRAME(FaiRness Arbitrariness and Multiplicity Evaluation)フレームワークを紹介する。
FRAMEをキーデータセット全体にわたる様々なバイアス緩和アプローチに適用することにより、デバイアス手法の挙動に顕著な違いを示すことができる。
これらの知見は、現在の公平性基準の限界と、偏見過程における固有の仲裁性を強調している。
論文 参考訳（メタデータ） (2023-02-14T16:53:52Z) - Choose Your Lenses: Flaws in Gender Bias Evaluation [29.16221451643288]
ジェンダーバイアス評価の現在のパラダイムを評価し、その中のいくつかの欠陥を同定する。
まず、あるタスクにおけるモデルのパフォーマンスがジェンダーによってどのように影響を受けるかを測定する、外在バイアス指標の重要性を強調する。
第二に、データセットとメトリクスが頻繁に結合されていることを発見し、それらの結合がいかにして信頼できる結論を得る能力を妨げているかについて議論する。
論文 参考訳（メタデータ） (2022-10-20T17:59:55Z) - Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文 参考訳（メタデータ） (2022-10-17T05:40:13Z) - Information-Theoretic Bias Reduction via Causal View of Spurious
Correlation [71.9123886505321]
本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。
本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。
提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
論文 参考訳（メタデータ） (2022-01-10T01:19:31Z) - Information-Theoretic Bias Assessment Of Learned Representations Of
Pretrained Face Recognition [18.07966649678408]
保護された人口統計属性に対するバイアスの度合いを特定するために,情報理論,独立バイアス評価指標を提案する。
我々の測定基準は、分類精度に依存する他の方法と異なり、浅いネットワークを用いて予測される保護属性の予測ラベルと地上の真実の差を調べる。
論文 参考訳（メタデータ） (2021-11-08T17:41:17Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳（メタデータ） (2021-09-16T23:40:28Z) - Assessing the Reliability of Word Embedding Gender Bias Measures [4.258396452892244]
我々は,単語埋め込み性バイアス尺度の3種類の信頼性,すなわち,テスト-再テストの信頼性,相互整合性,内部整合性を評価する。
以上の結果から,単語埋め込み性バイアス尺度のより良い設計が示唆された。
論文 参考訳（メタデータ） (2021-09-10T08:23:50Z) - A Statistical Analysis of Summarization Evaluation Metrics using
Resampling Methods [60.04142561088524]
信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。
多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
論文 参考訳（メタデータ） (2021-03-31T18:28:14Z) - Towards causal benchmarking of bias in face analysis algorithms [54.19499274513654]
顔分析アルゴリズムのアルゴリズムバイアスを測定する実験手法を開発した。
提案手法は,一致したサンプル画像の合成トランスクター'を生成することに基づく。
性別分類アルゴリズムの偏見を従来の観察法を用いて分析することにより,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2020-07-13T17:10:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。