論文の概要: FairFace Challenge at ECCV 2020: Analyzing Bias in Face Recognition
- arxiv url: http://arxiv.org/abs/2009.07838v2
- Date: Wed, 2 Dec 2020 17:17:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 00:31:33.687161
- Title: FairFace Challenge at ECCV 2020: Analyzing Bias in Face Recognition
- Title(参考訳): ECCV 2020のFairFace Challenge - 顔認識におけるバイアスの分析
- Authors: Tom\'a\v{s} Sixta, Julio C. S. Jacques Junior, Pau Buch-Cardona, Neil
M. Robertson, Eduard Vazquez, Sergio Escalera
- Abstract要約: この課題の目的は、提出されたアルゴリズムの性別と肌の色における正確さと偏りを評価することである。
データセットはバランスが取れていないため、公正な結果を示すAIベースのモデルがトレーニングされ、不均衡なデータに基づいて評価される、現実のシナリオをシミュレートする。
上位10チームの分析では、暗い肌の色を持つ女性の偽陽性率(偽陰性率)が高かった。
- 参考スコア(独自算出の注目度): 26.49981022316179
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work summarizes the 2020 ChaLearn Looking at People Fair Face
Recognition and Analysis Challenge and provides a description of the
top-winning solutions and analysis of the results. The aim of the challenge was
to evaluate accuracy and bias in gender and skin colour of submitted algorithms
on the task of 1:1 face verification in the presence of other confounding
attributes. Participants were evaluated using an in-the-wild dataset based on
reannotated IJB-C, further enriched by 12.5K new images and additional labels.
The dataset is not balanced, which simulates a real world scenario where
AI-based models supposed to present fair outcomes are trained and evaluated on
imbalanced data. The challenge attracted 151 participants, who made more than
1.8K submissions in total. The final phase of the challenge attracted 36 active
teams out of which 10 exceeded 0.999 AUC-ROC while achieving very low scores in
the proposed bias metrics. Common strategies by the participants were face
pre-processing, homogenization of data distributions, the use of bias aware
loss functions and ensemble models. The analysis of top-10 teams shows higher
false positive rates (and lower false negative rates) for females with dark
skin tone as well as the potential of eyeglasses and young age to increase the
false positive rates too.
- Abstract(参考訳): この研究は、2020年のChaLearn Looking at People Fair Face Recognition and Analysis Challengeを要約し、最高のソリューションと結果の分析について説明している。
課題の目的は,提案アルゴリズムの性別と肌の色における精度とバイアスを,他の同一属性が存在する場合の1:1顔認証タスクで評価することであった。
参加者は、IJB-Cの再アノテーションに基づいて、Wild内のデータセットを用いて評価され、さらに12.5Kの新しい画像とラベルが強化された。
データセットはバランスが取れず、公平な結果を示すはずのaiベースのモデルをトレーニングし、不均衡なデータに基づいて評価する現実世界のシナリオをシミュレートする。
この挑戦には151人が参加し、合計1.8万以上の応募が行われた。
チャレンジの最終フェーズでは36チームが参加し、10チームが0.999 AUC-ROCを突破し、提案されたバイアス指標のスコアは極めて低かった。
参加者による一般的な戦略は、顔前処理、データ分布の均質化、バイアス認識損失関数の使用、アンサンブルモデルであった。
トップ10チームの分析では、暗い肌のトーンを持つ女性に対する偽陽性率(および偽陰性率)と、偽陽性率を増加させる眼鏡と若年者の可能性が示された。
関連論文リスト
- Toward Fairer Face Recognition Datasets [69.04239222633795]
顔認識と検証は、ディープ表現の導入によってパフォーマンスが向上したコンピュータビジョンタスクである。
実際のトレーニングデータセットにおける顔データとバイアスのセンシティブな性格による倫理的、法的、技術的な課題は、彼らの開発を妨げる。
生成されたトレーニングデータセットに階層属性のバランス機構を導入することにより、公平性を促進する。
論文 参考訳(メタデータ) (2024-06-24T12:33:21Z) - Addressing Racial Bias in Facial Emotion Recognition [1.4896509623302834]
本研究は、人種分布の異なるサブサンプリングトレーニングセットによる人種バイアスの分析に焦点を当てた。
その結果,シミュレーションが人種的バランスに近づくにつれて,顔の小さいデータセットは公平さとパフォーマンスの指標の両方を改善することが示唆された。
顔の変動が大きい大きなデータセットでは、公正度指標は概して一定であり、人種的バランス自体が異なる人種グループ間でのテストパフォーマンスの同等性を達成するには不十分であることを示唆している。
論文 参考訳(メタデータ) (2023-08-09T03:03:35Z) - Meta Balanced Network for Fair Face Recognition [51.813457201437195]
我々は、データとアルゴリズムの両方の側面からバイアスを体系的に科学的に研究する。
本稿では,メタバランスネットワーク(MBN)と呼ばれるメタ学習アルゴリズムを提案する。
大規模な実験により、MBNは偏見を緩和し、顔認識において異なる肌のトーンを持つ人々に対してよりバランスの取れたパフォーマンスを学ぶことができた。
論文 参考訳(メタデータ) (2022-05-13T10:25:44Z) - Comparing Human and Machine Bias in Face Recognition [46.170389064229354]
我々はLFWとCelebAデータセットの改良版をリリースし、将来の研究者がアルゴリズムバイアスの測定値を得ることができるようにした。
また、これらの新しいデータを使って、顔認証と検証に関する一連の挑戦的な質問も開発しています。
検証作業において,コンピュータモデルと人的調査参加者の双方が有意に優れていたことが判明した。
論文 参考訳(メタデータ) (2021-10-15T22:26:20Z) - Unravelling the Effect of Image Distortions for Biased Prediction of
Pre-trained Face Recognition Models [86.79402670904338]
画像歪みの存在下での4つの最先端深層顔認識モデルの性能評価を行った。
我々は、画像歪みが、異なるサブグループ間でのモデルの性能ギャップと関係していることを観察した。
論文 参考訳(メタデータ) (2021-08-14T16:49:05Z) - Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
現在の顔認識(FR)モデルには、人口統計バイアスが存在する。
さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。
真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。
本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
論文 参考訳(メタデータ) (2021-03-16T15:05:49Z) - Investigating Bias in Deep Face Analysis: The KANFace Dataset and
Empirical Study [67.3961439193994]
現在までに最も包括的で大規模な顔画像とビデオのデータセットを導入している。
データは、アイデンティティ、正確な年齢、性別、親族関係の点で手動で注釈付けされる。
提案したベンチマークでネットワーク埋め込みをデバイアス化する手法を導入し,テストした。
論文 参考訳(メタデータ) (2020-05-15T00:14:39Z) - Post-Comparison Mitigation of Demographic Bias in Face Recognition Using
Fair Score Normalization [15.431761867166]
顔認識におけるバイアスの影響を低減するために,教師なしのフェアスコア正規化手法を提案する。
我々の解決策は、性別を考慮した場合の人口バイアスを最大82.7%削減する。
従来の研究とは対照的に、我々の公正な正規化アプローチは、偽一致率0.001で53.2%、偽一致率0.00001で82.9%まで全体の性能を向上させる。
論文 参考訳(メタデータ) (2020-02-10T08:17:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。