論文の概要: Towards causal benchmarking of bias in face analysis algorithms
- arxiv url: http://arxiv.org/abs/2007.06570v1
- Date: Mon, 13 Jul 2020 17:10:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 23:40:04.004117
- Title: Towards causal benchmarking of bias in face analysis algorithms
- Title(参考訳): 顔分析アルゴリズムにおけるバイアスの因果ベンチマークに向けて
- Authors: Guha Balakrishnan, Yuanjun Xiong, Wei Xia, Pietro Perona
- Abstract要約: 顔分析アルゴリズムのアルゴリズムバイアスを測定する実験手法を開発した。
提案手法は,一致したサンプル画像の合成トランスクター'を生成することに基づく。
性別分類アルゴリズムの偏見を従来の観察法を用いて分析することにより,本手法の有効性を検証した。
- 参考スコア(独自算出の注目度): 54.19499274513654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Measuring algorithmic bias is crucial both to assess algorithmic fairness,
and to guide the improvement of algorithms. Current methods to measure
algorithmic bias in computer vision, which are based on observational datasets,
are inadequate for this task because they conflate algorithmic bias with
dataset bias.
To address this problem we develop an experimental method for measuring
algorithmic bias of face analysis algorithms, which manipulates directly the
attributes of interest, e.g., gender and skin tone, in order to reveal causal
links between attribute variation and performance change. Our proposed method
is based on generating synthetic ``transects'' of matched sample images that
are designed to differ along specific attributes while leaving other attributes
constant. A crucial aspect of our approach is relying on the perception of
human observers, both to guide manipulations, and to measure algorithmic bias.
Besides allowing the measurement of algorithmic bias, synthetic transects
have other advantages with respect to observational datasets: they sample
attributes more evenly allowing for more straightforward bias analysis on
minority and intersectional groups, they enable prediction of bias in new
scenarios, they greatly reduce ethical and legal challenges, and they are
economical and fast to obtain, helping make bias testing affordable and widely
available.
We validate our method by comparing it to a study that employs the
traditional observational method for analyzing bias in gender classification
algorithms. The two methods reach different conclusions. While the
observational method reports gender and skin color biases, the experimental
method reveals biases due to gender, hair length, age, and facial hair.
- Abstract(参考訳): アルゴリズムバイアスの測定は、アルゴリズムの公平性を評価することと、アルゴリズムの改善を導くために重要である。
観測データセットに基づくコンピュータビジョンにおけるアルゴリズムバイアスを測定する現在の方法は、アルゴリズムバイアスとデータセットバイアスを区別するため、このタスクには不十分である。
この問題に対処するため, 顔分析アルゴリズムのアルゴリズムバイアスを測定する実験手法を開発し, 属性変動と性能変化の因果関係を明らかにするために, 性別や肌のトーンなどの興味の属性を直接操作する。
提案手法は,他の属性を一定に残しながら,特定の属性に沿って異なるように設計したサンプル画像の<transects''を生成する。
このアプローチの重要な側面は、操作のガイドとアルゴリズムバイアスの測定の両方において、人間の観察者の知覚に依存することです。
アルゴリズムバイアスの測定を可能にすることに加えて、合成トランクトリクスは観察データセットに関して他の利点がある: 彼らはより均一に属性をサンプリングし、少数派および交差するグループのより直接的なバイアス分析を可能にし、新しいシナリオにおけるバイアスの予測を可能にし、倫理的および法的課題を大幅に減らし、経済的かつ迅速に入手でき、バイアステストが安価で広く利用可能になる。
本手法を従来の観察法を用いて性別分類アルゴリズムのバイアスを解析した研究と比較することで検証した。
2つの方法は異なる結論に達する。
観察方法は、性別や肌の色バイアスを報告するが、実験では、性別、髪の長さ、年齢、顔の毛によるバイアスが明らかにされる。
関連論文リスト
- Outlier Detection Bias Busted: Understanding Sources of Algorithmic Bias through Data-centric Factors [28.869581543676947]
unsupervised outlier detection (OD) は、金融、セキュリティ等に多くの応用がある。
この研究は、データ中心の異なる要因の下で検出モデルを監査することで、ODの不公平な源泉に光を当てることを目的としている。
この研究に基づくODアルゴリズムは、すべて公正な落とし穴を示すが、どの種類のデータバイアスがより影響を受けやすいかは異なる。
論文 参考訳(メタデータ) (2024-08-24T20:35:32Z) - Benchmarking Algorithmic Bias in Face Recognition: An Experimental
Approach Using Synthetic Faces and Human Evaluation [24.35436087740559]
顔認識システムにおけるバイアスを測定する実験手法を提案する。
本手法は,ニューラルフェイスジェネレータを用いて合成顔を生成する。
我々は3つの研究グレードの顔認識モデルの人種と性別の偏りを定量的に評価する。
論文 参考訳(メタデータ) (2023-08-10T08:57:31Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳(メタデータ) (2022-08-10T03:41:48Z) - Information-Theoretic Bias Reduction via Causal View of Spurious
Correlation [71.9123886505321]
本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。
本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。
提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
論文 参考訳(メタデータ) (2022-01-10T01:19:31Z) - Anatomizing Bias in Facial Analysis [86.79402670904338]
既存の顔分析システムでは、特定の集団群に対して偏りのある結果が得られることが示されている。
これらのシステムは、個人の性別、アイデンティティ、肌のトーンに基づいて差別されないようにすることが義務づけられている。
これはAIシステムにおけるバイアスの識別と緩和の研究につながった。
論文 参考訳(メタデータ) (2021-12-13T09:51:13Z) - Comparing Human and Machine Bias in Face Recognition [46.170389064229354]
我々はLFWとCelebAデータセットの改良版をリリースし、将来の研究者がアルゴリズムバイアスの測定値を得ることができるようにした。
また、これらの新しいデータを使って、顔認証と検証に関する一連の挑戦的な質問も開発しています。
検証作業において,コンピュータモデルと人的調査参加者の双方が有意に優れていたことが判明した。
論文 参考訳(メタデータ) (2021-10-15T22:26:20Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。