論文の概要: Automatic Fairness Testing of Neural Classifiers through Adversarial
Sampling
- arxiv url: http://arxiv.org/abs/2107.08176v1
- Date: Sat, 17 Jul 2021 03:47:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-20 15:09:00.244201
- Title: Automatic Fairness Testing of Neural Classifiers through Adversarial
Sampling
- Title（参考訳）: 逆サンプリングによる神経分類器の自動フェアネステスト
- Authors: Peixin Zhang, Jingyi Wang, Jun Sun, Xinyu Wang, Guoliang Dong, Xingen
Wang, Ting Dai, Jin Song Dong
- Abstract要約: 本稿では,識別サンプルを体系的に検索するスケーラブルで効果的な手法を提案する。
最先端の手法と比較して、我々の手法は勾配計算やクラスタリングのような軽量な手法のみを用いる。
再訓練されたモデルは、それぞれ平均57.2%と60.2%の差別を減少させる。
- 参考スコア（独自算出の注目度）: 8.2868128804393
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although deep learning has demonstrated astonishing performance in many
applications, there are still concerns on their dependability. One desirable
property of deep learning applications with societal impact is fairness (i.e.,
non-discrimination). Unfortunately, discrimination might be intrinsically
embedded into the models due to discrimination in the training data. As a
countermeasure, fairness testing systemically identifies discriminative
samples, which can be used to retrain the model and improve its fairness.
Existing fairness testing approaches however have two major limitations. First,
they only work well on traditional machine learning models and have poor
performance (e.g., effectiveness and efficiency) on deep learning models.
Second, they only work on simple tabular data and are not applicable for
domains such as text. In this work, we bridge the gap by proposing a scalable
and effective approach for systematically searching for discriminative samples
while extending fairness testing to address a challenging domain, i.e., text
classification. Compared with state-of-the-art methods, our approach only
employs lightweight procedures like gradient computation and clustering, which
makes it significantly more scalable. Experimental results show that on
average, our approach explores the search space more effectively (9.62 and 2.38
times more than the state-of-art methods respectively on tabular and text
datasets) and generates much more individual discriminatory instances (24.95
and 2.68 times) within reasonable time. The retrained models reduce
discrimination by 57.2% and 60.2% respectively on average.
- Abstract（参考訳）: ディープラーニングは多くのアプリケーションで驚くべきパフォーマンスを示しているが、その信頼性には依然として懸念がある。
社会的影響のあるディープラーニング応用の望ましい特性は、公正性(非差別)である。
残念なことに、トレーニングデータの識別のため、差別は本質的にモデルに埋め込まれる可能性がある。
対策として、フェアネステスト(fairness testing)は、モデルの再トレーニングとフェアネスの改善に使用できる識別サンプルを体系的に識別する。
しかし、既存の公正テストアプローチには2つの大きな制限がある。
まず、従来の機械学習モデルでのみうまく動作し、ディープラーニングモデルでパフォーマンス(有効性と効率性など)が低下する。
第2に、単純な表データのみで動作するため、テキストなどのドメインには適用できない。
本研究では,識別サンプルを体系的に検索するスケーラブルで効果的な手法を提案し,公平性テストを拡張してテキスト分類という課題に対処することでギャップを埋める。
最先端の手法と比較すると,グラデーション計算やクラスタリングといった軽量な手法のみを採用しており,スケーラビリティが向上している。
実験の結果,提案手法は検索空間をより効果的に探索し(9.62 倍,2.38 倍),妥当な時間内により個別の判別インスタンス(24.95 倍,2.68 倍)を生成することがわかった。
再訓練されたモデルは、それぞれ平均57.2%と60.2%の差別を減らす。
関連論文リスト
- Canary in a Coalmine: Better Membership Inference with Ensembled
Adversarial Queries [53.222218035435006]
私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。
我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
論文 参考訳（メタデータ） (2022-10-19T17:46:50Z) - Revealing Unfair Models by Mining Interpretable Evidence [50.48264727620845]
機械学習の人気は、不公平なモデルがハイリスクなアプリケーションにデプロイされるリスクを高めている。
本稿では,解釈可能な証拠をマイニングすることで不公平なモデルを明らかにする新しい課題に取り組む。
本手法は,訓練されたモデルの不公平性を効果的に明らかにするために,極めて解釈可能な確固たる証拠を見出す。
論文 参考訳（メタデータ） (2022-07-12T20:03:08Z) - FairIF: Boosting Fairness in Deep Learning via Influence Functions with
Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。
サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。
FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文 参考訳（メタデータ） (2022-01-15T05:14:48Z) - Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。
対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。
比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文 参考訳（メタデータ） (2021-09-22T10:47:51Z) - Robust Fairness-aware Learning Under Sample Selection Bias [17.09665420515772]
サンプル選択バイアス下での頑健で公正な学習のための枠組みを提案する。
テストデータが利用可能で、利用できない場合に、サンプル選択バイアスを処理する2つのアルゴリズムを開発した。
論文 参考訳（メタデータ） (2021-05-24T23:23:36Z) - Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。
不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。
また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文 参考訳（メタデータ） (2021-04-14T14:20:22Z) - Metrics and methods for a systematic comparison of fairness-aware
machine learning algorithms [0.0]
この研究はこの種の最も包括的なものである。
フェアネス、予測性能、キャリブレーション品質、28種類のモデリングパイプラインの速度を考慮に入れている。
また,フェアネスを意識したアルゴリズムは,予測力の低下を伴わずにフェアネスを誘導できることがわかった。
論文 参考訳（メタデータ） (2020-10-08T13:58:09Z) - Fairness in Semi-supervised Learning: Unlabeled Data Help to Reduce
Discrimination [53.3082498402884]
機械学習の台頭における投機は、機械学習モデルによる決定が公正かどうかである。
本稿では,未ラベルデータのラベルを予測するための擬似ラベリングを含む,前処理フェーズにおける公平な半教師付き学習の枠組みを提案する。
偏見、分散、ノイズの理論的分解分析は、半教師付き学習における差別の異なる源とそれらが公平性に与える影響を浮き彫りにする。
論文 参考訳（メタデータ） (2020-09-25T05:48:56Z) - Do the Machine Learning Models on a Crowd Sourced Platform Exhibit Bias?
An Empirical Study on Model Fairness [7.673007415383724]
5つの異なるタスクに使用したKaggleから、40の上位モデルのベンチマークを作成しました。
これらのモデルに7つの緩和手法を適用し、公正性、緩和結果、および性能への影響を分析した。
論文 参考訳（メタデータ） (2020-05-21T23:35:53Z) - Fairness-Aware Learning with Prejudice Free Representations [2.398608007786179]
本稿では,潜在性識別特徴を効果的に識別し,治療できる新しいアルゴリズムを提案する。
このアプローチは、モデルパフォーマンスを改善するために差別のない機能を集めるのに役立つ。
論文 参考訳（メタデータ） (2020-02-26T10:06:31Z) - Learning from Discriminatory Training Data [2.1869017389979266]
監視された学習システムは、歴史的データを用いて訓練され、もしデータが差別によって汚染された場合、保護されたグループに対して差別を意図せずに学習する可能性がある。
差別的データセットの訓練にもかかわらず、公正な学習手法は、公正なテストデータセットで良好に機能することを提案する。
論文 参考訳（メタデータ） (2019-12-17T18:53:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。