論文の概要: Lazy Data Practices Harm Fairness Research
- arxiv url: http://arxiv.org/abs/2404.17293v2
- Date: Wed, 19 Jun 2024 00:52:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 04:18:42.154865
- Title: Lazy Data Practices Harm Fairness Research
- Title（参考訳）: Lazy Data Practices Harm Fairness Research
- Authors: Jan Simson, Alessandro Fabris, Christoph Kern,
- Abstract要約: 本稿では,公正な機械学習データセットを包括的に分析し,不反射的手法がアルゴリズム的公正度発見の到達度と信頼性をいかに妨げているかを示す。
本分析では,(1)データと評価における特定の保護属性の表現のテクスブフラック,(2)データ前処理におけるマイノリティの広汎なテキストbf,(3)フェアネス研究の一般化を脅かすテキストbfopaqueデータ処理の3つの分野について検討した。
この研究は、公正なMLにおけるデータプラクティスの批判的な再評価の必要性を強調し、データセットのソーシングと使用の両方を改善するための指針を提供する。
- 参考スコア（独自算出の注目度）: 49.02318458244464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data practices shape research and practice on fairness in machine learning (fair ML). Critical data studies offer important reflections and critiques for the responsible advancement of the field by highlighting shortcomings and proposing recommendations for improvement. In this work, we present a comprehensive analysis of fair ML datasets, demonstrating how unreflective yet common practices hinder the reach and reliability of algorithmic fairness findings. We systematically study protected information encoded in tabular datasets and their usage in 280 experiments across 142 publications. Our analyses identify three main areas of concern: (1) a \textbf{lack of representation for certain protected attributes} in both data and evaluations; (2) the widespread \textbf{exclusion of minorities} during data preprocessing; and (3) \textbf{opaque data processing} threatening the generalization of fairness research. By conducting exemplary analyses on the utilization of prominent datasets, we demonstrate how unreflective data decisions disproportionately affect minority groups, fairness metrics, and resultant model comparisons. Additionally, we identify supplementary factors such as limitations in publicly available data, privacy considerations, and a general lack of awareness, which exacerbate these challenges. To address these issues, we propose a set of recommendations for data usage in fairness research centered on transparency and responsible inclusion. This study underscores the need for a critical reevaluation of data practices in fair ML and offers directions to improve both the sourcing and usage of datasets.
- Abstract（参考訳）: データプラクティスは、機械学習(フェアML)における公正性の研究と実践を形作る。
批判的データ研究は、欠点を強調し、改善のための推奨を提案することによって、フィールドの責任ある進歩に重要なリフレクションと批判を与える。
本研究は,機械学習の公正なデータセットを包括的に分析し,予測できないが一般的なプラクティスが,アルゴリズム的公正な発見の到達と信頼性を妨げていることを実証する。
グラフデータセットに符号化された保護情報とその使用法を,142の出版物にわたる280の実験で体系的に研究した。
分析では,(1)データと評価の両方において,保護された属性の表現の「textbf{lack」,(2)データ前処理時の「マイノリティの排除」,(3)フェアネス研究の一般化を脅かす「textbf{opaque data processing"」の3つの主要な領域を抽出した。
顕著なデータセットの利用に関する模範的な分析を行うことで、不適切なデータ決定が少数派グループ、公正度指標、結果のモデル比較にどのように不均衡に影響を及ぼすかを実証する。
さらに、公開データの制限、プライバシーの考慮、認識の全般的欠如など、これらの課題を悪化させる補足的要因を同定する。
これらの課題に対処するために、透明性と責任ある包摂性を中心とした公正な研究において、データ使用に関する一連の勧告を提案する。
この研究は、公正なMLにおけるデータプラクティスの批判的な再評価の必要性を強調し、データセットのソーシングと使用の両方を改善するための指針を提供する。
関連論文リスト
- Fairness Issues and Mitigations in (Differentially Private) Socio-demographic Data Processes [43.07159967207698]
本稿では,グループレベルの推定値に不均一に影響を及ぼすサンプリング誤差について,重要な社会的関連性を調査した。
そこで本研究では,現実のサーベイ設計プロセスに基づく最適化手法を提案する。
サンプリングレートを決定するために使用されるプライバシー保護手法は、これらの公平性問題にさらに影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2024-08-16T01:13:36Z) - Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。
我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。
また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
論文 参考訳（メタデータ） (2024-07-19T14:53:18Z) - Data-Centric AI in the Age of Large Language Models [51.20451986068925]
本稿では,大規模言語モデル(LLM)に着目した,AI研究におけるデータ中心の視点を提案する。
本研究では,LLMの発達段階(事前学習や微調整など)や推論段階(文脈内学習など)において,データが有効であることを示す。
データを中心とした4つのシナリオを特定し、データ中心のベンチマークとデータキュレーション、データ属性、知識伝達、推論コンテキスト化をカバーします。
論文 参考訳（メタデータ） (2024-06-20T16:34:07Z) - AIM: Attributing, Interpreting, Mitigating Data Unfairness [40.351282126410545]
既存の公正機械学習(FairML)の研究は、モデル予測における差別バイアスの軽減に重点を置いている。
トレーニングデータからバイアスや偏見を反映したサンプルの発見という,新たな研究課題について検討する。
サンプルバイアスの測定と対策のための実用的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-13T05:21:10Z) - Collect, Measure, Repeat: Reliability Factors for Responsible AI Data
Collection [8.12993269922936]
AIのデータ収集は責任ある方法で行うべきだと我々は主張する。
本稿では,データ収集をメトリクスの集合でガイドするResponsible AI(RAI)手法を提案する。
論文 参考訳（メタデータ） (2023-08-22T18:01:27Z) - Deep Learning on a Healthy Data Diet: Finding Important Examples for
Fairness [15.210232622716129]
データ駆動予測ソリューションは、主に商用アプリケーションで使われているが、バイアスやステレオタイプに悩まされる傾向がある。
データ拡張は、トレーニングデータセットに反実例を追加することで、性別バイアスを低減する。
拡張データセットのいくつかの例は、公平性には重要でも有害でもないことを示します。
論文 参考訳（メタデータ） (2022-11-20T22:42:30Z) - Algorithmic Fairness Datasets: the Story so Far [68.45921483094705]
データ駆動アルゴリズムは、人々の幸福に直接影響し、批判的な決定をサポートするために、さまざまな領域で研究されている。
研究者のコミュニティは、既存のアルゴリズムの株式を調査し、新しいアルゴリズムを提案し、歴史的に不利な人口に対する自動意思決定のリスクと機会の理解を深めてきた。
公正な機械学習の進歩はデータに基づいており、適切に文書化された場合にのみ適切に使用できる。
残念なことに、アルゴリズムフェアネスコミュニティは、特定のリソース(オパシティ)に関する情報の不足と利用可能な情報の分散(スパーシティ)によって引き起こされる、集合的なデータドキュメント負債に悩まされている。
論文 参考訳（メタデータ） (2022-02-03T17:25:46Z) - A survey on datasets for fairness-aware machine learning [6.962333053044713]
多くのフェアネス対応機械学習ソリューションが提案されている。
本稿では,フェアネスを意識した機械学習に使用される実世界のデータセットについて概説する。
データセットのバイアスと公平性についてより深く理解するために、探索分析を用いて興味深い関係を考察する。
論文 参考訳（メタデータ） (2021-10-01T16:54:04Z) - Through the Data Management Lens: Experimental Analysis and Evaluation
of Fair Classification [75.49600684537117]
データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。
我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。
我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
論文 参考訳（メタデータ） (2021-01-18T22:55:40Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。