論文の概要: Sum of Group Error Differences: A Critical Examination of Bias Evaluation in Biometric Verification and a Dual-Metric Measure

• arxiv url: http://arxiv.org/abs/2404.15385v1
• Date: Tue, 23 Apr 2024 10:59:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-25 15:32:54.032824
• Title: Sum of Group Error Differences: A Critical Examination of Bias Evaluation in Biometric Verification and a Dual-Metric Measure
• Title（参考訳）: 集団誤差の総和:生体認証におけるバイアス評価と2次元測定の批判的検討
• Authors: Alaa Elobaid, Nathan Ramoly, Lara Younes, Symeon Papadopoulos, Eirini Ntoutsi, Ioannis Kompatsiaris,
• Abstract要約: バイオメトリック検証(BV)システムは、しばしば異なる集団間で精度の相違を示し、BVアプリケーションにバイアスをもたらす。 既存のBVのバイアス評価メトリクスには、マッチや非マッチエラー率にのみフォーカスするといった制限がある。 本稿では、BVにおける現在のバイアス評価指標の限界を詳細に分析し、BVのための新しい汎用バイアス評価尺度を提案する。
• 参考スコア（独自算出の注目度）: 15.318214255972203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Biometric Verification (BV) systems often exhibit accuracy disparities across different demographic groups, leading to biases in BV applications. Assessing and quantifying these biases is essential for ensuring the fairness of BV systems. However, existing bias evaluation metrics in BV have limitations, such as focusing exclusively on match or non-match error rates, overlooking bias on demographic groups with performance levels falling between the best and worst performance levels, and neglecting the magnitude of the bias present. This paper presents an in-depth analysis of the limitations of current bias evaluation metrics in BV and, through experimental analysis, demonstrates their contextual suitability, merits, and limitations. Additionally, it introduces a novel general-purpose bias evaluation measure for BV, the ``Sum of Group Error Differences (SEDG)''. Our experimental results on controlled synthetic datasets demonstrate the effectiveness of demographic bias quantification when using existing metrics and our own proposed measure. We discuss the applicability of the bias evaluation metrics in a set of simulated demographic bias scenarios and provide scenario-based metric recommendations. Our code is publicly available under \url{https://github.com/alaaobeid/SEDG}.
• Abstract（参考訳）: バイオメトリック検証(BV)システムは、しばしば異なる集団間で精度の相違を示し、BVアプリケーションにバイアスをもたらす。 これらのバイアスを評価し定量化することは、BVシステムの公平性を保証するために不可欠である。 しかしながら、BVの既存のバイアス評価指標には、マッチまたは非マッチエラー率にのみフォーカスする、パフォーマンスレベルが最高と最悪のパフォーマンスレベルの間で低下する人口集団のバイアスを見渡す、現在のバイアスの大きさを無視する、といった制限がある。 本稿では,BVにおける現在のバイアス評価指標の限界を詳細に分析し,その文脈的適合性,メリット,限界を実験的に示す。 さらに、新しい汎用バイアス評価尺度である ``Sum of Group Error differences (SEDG)' を導入する。 制御された合成データセットに対する実験結果は,既存の指標と提案した測定値を用いて,人口統計学的偏りの定量化の有効性を示した。 シミュレーションされた階層的バイアスシナリオの集合におけるバイアス評価指標の適用性について論じ,シナリオベースのメトリクスレコメンデーションを提供する。 我々のコードは \url{https://github.com/alaaobeid/SEDG} で公開されている。

関連論文リスト

• Comprehensive Equity Index (CEI): Definition and Application to Bias Evaluation in Biometrics [47.762333925222926]
  本稿では,機械学習モデルのバイアス行動の定量化のための新しい指標を提案する。 顔認識システムの運用評価に焦点をあて,適用する。
  論文  参考訳（メタデータ） (2024-09-03T14:19:38Z)
• As Biased as You Measure: Methodological Pitfalls of Bias Evaluations in Speaker Verification Research [15.722009470067974]
  本研究では,測定がバイアス評価の結果に与える影響について検討する。 偏見評価は,評価基準値に強く影響されていることを示す。 以上の結果から,比に基づく偏差測定の活用を推奨する。
  論文  参考訳（メタデータ） (2024-08-24T16:04:51Z)
• CEB: Compositional Evaluation Benchmark for Fairness in Large Language Models [58.57987316300529]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを処理するために、ますます多くデプロイされている。 LLMが示すバイアスを評価するために、研究者は最近、様々なデータセットを提案している。 我々は,様々な社会的グループやタスクにまたがる様々なバイアスをカバーした構成的評価ベンチマークであるCEBを提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:31:37Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Analysis and Comparison of Classification Metrics [12.092755413404245]
  システムスコアの測定基準には、ROC曲線下の領域、等誤差率、クロスエントロピー、ブライアスコア、ベイズECまたはベイズリスクが含まれる。 これらの測定値を用いてシステムのキャリブレーション損失を計算し、この測定値を広く使用されている予測キャリブレーション誤差(ECE)と比較する。
  論文  参考訳（メタデータ） (2022-09-12T16:06:10Z)
• Social Bias Meets Data Bias: The Impacts of Labeling and Measurement Errors on Fairness Criteria [4.048444203617942]
  我々は、ラベル付けプロセスにおける事前決定者による誤りと、不利な個人の特徴の測定における誤りの2つの形態を考察する。 分析により、ある統計的バイアスに直面した場合、いくつかの制約が頑健であることを示し、他の制約(等化オッドなど)はバイアスデータでトレーニングされた場合、著しく侵害される。 以上の結果から,既存の公正基準の中から選択するためのガイドラインや,利用可能なデータセットに偏りがある場合の新たな基準を提案するためのガイドラインが提示された。
  論文  参考訳（メタデータ） (2022-05-31T22:43:09Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。