論文の概要: Metrics for Dataset Demographic Bias: A Case Study on Facial Expression
Recognition
- arxiv url: http://arxiv.org/abs/2303.15889v1
- Date: Tue, 28 Mar 2023 11:04:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 15:26:05.580412
- Title: Metrics for Dataset Demographic Bias: A Case Study on Facial Expression
Recognition
- Title（参考訳）: Dataset Demographic Bias の指標 : 表情認識を事例として
- Authors: Iris Dominguez-Catena, Daniel Paternain, Mikel Galar
- Abstract要約: 人口統計バイアスの最も顕著な種類は、データセットにおける人口統計群の表現における統計的不均衡である。
我々はこれらの指標を分類するための分類法を開発し、適切な指標を選択するための実践的なガイドを提供する。
この論文は、データセットバイアスを緩和し、AIモデルの公正性と正確性を改善するために、AIと関連する分野の研究者に貴重な洞察を提供する。
- 参考スコア（独自算出の注目度）: 1.5340540198612824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Demographic biases in source datasets have been shown as one of the causes of
unfairness and discrimination in the predictions of Machine Learning models.
One of the most prominent types of demographic bias are statistical imbalances
in the representation of demographic groups in the datasets. In this paper, we
study the measurement of these biases by reviewing the existing metrics,
including those that can be borrowed from other disciplines. We develop a
taxonomy for the classification of these metrics, providing a practical guide
for the selection of appropriate metrics. To illustrate the utility of our
framework, and to further understand the practical characteristics of the
metrics, we conduct a case study of 20 datasets used in Facial Emotion
Recognition (FER), analyzing the biases present in them. Our experimental
results show that many metrics are redundant and that a reduced subset of
metrics may be sufficient to measure the amount of demographic bias. The paper
provides valuable insights for researchers in AI and related fields to mitigate
dataset bias and improve the fairness and accuracy of AI models. The code is
available at https://github.com/irisdominguez/dataset_bias_metrics.
- Abstract（参考訳）: ソースデータセットの人口バイアスは、機械学習モデルの予測における不公平と差別の原因の1つとして示されている。
人口統計バイアスの最も顕著な種類は、データセットにおける人口統計群の表現における統計的不均衡である。
本稿では,他の分野から借用できる指標を含む既存の指標を見直し,これらのバイアスの測定について検討する。
これらの指標を分類するための分類法を開発し、適切な指標を選択するための実践的なガイドを提供する。
筆者らは,このフレームワークの有用性を説明し,メトリクスの実践的特徴をさらに理解するために,顔の感情認識(FER)に使用される20のデータセットのケーススタディを行い,そのバイアスを分析した。
実験の結果,多くの指標は冗長であり,指標のサブセットは人口統計バイアスの量を測定するのに十分であることがわかった。
この論文は、データセットバイアスを緩和し、AIモデルの公正性と正確性を改善するために、AIと関連する分野の研究者に貴重な洞察を提供する。
コードはhttps://github.com/irisdominguez/dataset_bias_metricsで入手できる。
関連論文リスト
- Comprehensive Equity Index (CEI): Definition and Application to Bias Evaluation in Biometrics [47.762333925222926]
本稿では,機械学習モデルのバイアス行動の定量化のための新しい指標を提案する。
顔認識システムの運用評価に焦点をあて,適用する。
論文 参考訳（メタデータ） (2024-09-03T14:19:38Z) - Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。
我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。
また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
論文 参考訳（メタデータ） (2024-07-19T14:53:18Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z) - Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。
偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。
人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
論文 参考訳（メタデータ） (2023-05-24T04:27:40Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳（メタデータ） (2022-08-10T03:41:48Z) - Assessing Demographic Bias Transfer from Dataset to Model: A Case Study
in Facial Expression Recognition [1.5340540198612824]
2つのメトリクスはデータセットの表現バイアスとステレオタイプバイアスに焦点をあて、もう1つはトレーニングされたモデルの残差バイアスに焦点を当てている。
本稿では、一般的なAffectnetデータセットに基づくFER問題に適用することで、メトリクスの有用性を示す。
論文 参考訳（メタデータ） (2022-05-20T09:40:42Z) - Representation Bias in Data: A Survey on Identification and Resolution
Techniques [26.142021257838564]
データ駆動型アルゴリズムは、それらが扱うデータと同程度にしか機能しないが、データセット、特にソーシャルデータはしばしば、マイノリティを適切に表現できない。
データにおける表現バイアスは、歴史的差別から、データ取得と作成方法におけるバイアスのサンプリングまで、さまざまな理由により起こりうる。
本稿では,後日どのように消費されるかに関わらず,表現バイアスをデータセットの特徴として同定し,解決する方法についての文献をレビューする。
論文 参考訳（メタデータ） (2022-03-22T16:30:22Z) - Data Representativity for Machine Learning and AI Systems [2.588973722689844]
機械学習モデルを通じてデータから推論を描く場合、データの表現力は不可欠である。
本稿では,AIとサンプリングに関する科学文献におけるデータ表現性について分析する。
論文 参考訳（メタデータ） (2022-03-09T13:34:52Z) - Information-Theoretic Bias Assessment Of Learned Representations Of
Pretrained Face Recognition [18.07966649678408]
保護された人口統計属性に対するバイアスの度合いを特定するために,情報理論,独立バイアス評価指標を提案する。
我々の測定基準は、分類精度に依存する他の方法と異なり、浅いネットワークを用いて予測される保護属性の予測ラベルと地上の真実の差を調べる。
論文 参考訳（メタデータ） (2021-11-08T17:41:17Z) - REVISE: A Tool for Measuring and Mitigating Bias in Visual Datasets [64.76453161039973]
REVISE(Revealing VIsual biaSEs)は、視覚的データセットの調査を支援するツールである。
1)オブジェクトベース,(2)個人ベース,(3)地理ベースという3つの次元に沿った潜在的なバイアスを呈示する。
論文 参考訳（メタデータ） (2020-04-16T23:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。