論文の概要: Comprehensive Equity Index (CEI): Definition and Application to Bias Evaluation in Biometrics

• arxiv url: http://arxiv.org/abs/2409.01928v1
• Date: Tue, 3 Sep 2024 14:19:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 01:08:09.560793
• Title: Comprehensive Equity Index (CEI): Definition and Application to Bias Evaluation in Biometrics
• Title（参考訳）: 総合エクイティ指標(CEI:Comprehensive Equity Index) : バイオメトリックスにおけるバイアス評価への定義と応用
• Authors: Imanol Solano, Alejandro Peña, Aythami Morales, Julian Fierrez, Ruben Tolosana, Francisco Zamora-Martinez, Javier San Agustin,
• Abstract要約: 本稿では,機械学習モデルのバイアス行動の定量化のための新しい指標を提案する。 顔認識システムの運用評価に焦点をあて,適用する。
• 参考スコア（独自算出の注目度）: 47.762333925222926
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a novel metric designed, among other applications, to quantify biased behaviors of machine learning models. As its core, the metric consists of a new similarity metric between score distributions that balances both their general shapes and tails' probabilities. In that sense, our proposed metric may be useful in many application areas. Here we focus on and apply it to the operational evaluation of face recognition systems, with special attention to quantifying demographic biases; an application where our metric is especially useful. The topic of demographic bias and fairness in biometric recognition systems has gained major attention in recent years. The usage of these systems has spread in society, raising concerns about the extent to which these systems treat different population groups. A relevant step to prevent and mitigate demographic biases is first to detect and quantify them. Traditionally, two approaches have been studied to quantify differences between population groups in machine learning literature: 1) measuring differences in error rates, and 2) measuring differences in recognition score distributions. Our proposed Comprehensive Equity Index (CEI) trade-offs both approaches combining both errors from distribution tails and general distribution shapes. This new metric is well suited to real-world scenarios, as measured on NIST FRVT evaluations, involving high-performance systems and realistic face databases including a wide range of covariates and demographic groups. We first show the limitations of existing metrics to correctly assess the presence of biases in realistic setups and then propose our new metric to tackle these limitations. We tested the proposed metric with two state-of-the-art models and four widely used databases, showing its capacity to overcome the main flaws of previous bias metrics.
• Abstract（参考訳）: 本稿では,機械学習モデルのバイアス行動の定量化のための新しい指標を提案する。 その中核として、この計量は、それらの一般的な形状と尾の確率のバランスをとるスコア分布の間の新しい類似度計量から成り立っている。 その意味では、提案した計量は、多くの応用分野において有用かもしれない。 ここでは、顔認識システムの運用評価に焦点をあて、特に人口統計バイアスの定量化に留意する。 近年,生体認証システムにおける人口統計バイアスと公正性の話題が注目されている。 これらのシステムの利用は社会に広まり、これらのシステムが異なる集団群をどのように扱うかについて懸念が高まっている。 人口統計バイアスを予防し緩和するための重要なステップは、まずそれらを検知し、定量化することである。 伝統的に、機械学習文学における集団間の差異を定量化する2つの方法が研究されている。 1)誤差率の違いの測定、及び 2) 認識スコア分布の差を測定する。 提案した包括的等価指数(CEI)のトレードオフは,分布尾からの誤差と一般分布形状の両方を組み合わせたものである。 この新しい指標は、NIST FRVTの評価で測定されるような現実世界のシナリオによく適しており、高性能システムや幅広い共変量群や人口統計群を含む現実的な顔データベースを含む。 まず、現実的な設定におけるバイアスの存在を正しく評価するための既存のメトリクスの制限を示し、次に、これらの制限に対処するための新しいメトリクスを提案する。 提案したメトリクスを2つの最先端モデルと4つの広く使用されているデータベースで検証し、過去のバイアスメトリクスの主な欠陥を克服する能力を示した。

関連論文リスト

• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Fairness Index Measures to Evaluate Bias in Biometric Recognition [0.0]
  人口統計学的公正性の定量的評価は、生体計測応用における人口統計学的バイアスの理解、評価、緩和に向けた重要なステップである。 一般的な生体認証システムの人口統計学的公正性を評価するために,スコア分布の統計的特性に基づく複数の尺度を導入する。
  論文  参考訳（メタデータ） (2023-06-19T13:28:37Z)
• Metrics for Dataset Demographic Bias: A Case Study on Facial Expression Recognition [4.336779198334903]
  人口統計バイアスの最も顕著な種類は、データセットにおける人口統計群の表現における統計的不均衡である。 我々はこれらの指標を分類するための分類法を開発し、適切な指標を選択するための実践的なガイドを提供する。 この論文は、データセットバイアスを緩和し、AIモデルの公正性と正確性を改善するために、AIと関連する分野の研究者に貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-28T11:04:18Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• Stable Bias: Analyzing Societal Representations in Diffusion Models [72.27121528451528]
  本稿では,テキスト・ツー・イメージ(TTI)システムにおける社会的バイアスを探索する新しい手法を提案する。 我々のアプローチは、プロンプト内の性別や民族のマーカーを列挙して生成された画像の変動を特徴づけることに依存している。 我々はこの手法を利用して3つのTTIシステムによって生成された画像を分析し、そのアウトプットが米国の労働人口層と相関しているのに対して、彼らは常に異なる範囲において、限界化されたアイデンティティを低く表現している。
  論文  参考訳（メタデータ） (2023-03-20T19:32:49Z)
• Analysis and Comparison of Classification Metrics [12.092755413404245]
  システムスコアの測定基準には、ROC曲線下の領域、等誤差率、クロスエントロピー、ブライアスコア、ベイズECまたはベイズリスクが含まれる。 これらの測定値を用いてシステムのキャリブレーション損失を計算し、この測定値を広く使用されている予測キャリブレーション誤差(ECE)と比較する。
  論文  参考訳（メタデータ） (2022-09-12T16:06:10Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Measure Twice, Cut Once: Quantifying Bias and Fairness in Deep Neural Networks [7.763173131630868]
  本稿では,2つのモデルのクラスワイドバイアスを定量的に評価する2つの指標を提案する。 これらの新しいメトリクスのパフォーマンスを評価し、その実践的応用を実証することにより、公平性だけでなくバイアスも測定できることを示す。
  論文  参考訳（メタデータ） (2021-10-08T22:35:34Z)
• Domain-Incremental Continual Learning for Mitigating Bias in Facial Expression and Action Unit Recognition [5.478764356647437]
  FERシステムの公平性を高めるための強力なバイアス軽減法として,Continual Learning (CL) の新たな利用法を提案する。 表現認識と行動ユニット(AU)検出タスクにおける分類精度と公平度スコアについて,非CL法とCL法との比較を行った。 実験の結果,CLに基づく手法は,精度と公正度の両方において,他の一般的なバイアス緩和手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-15T18:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。