論文の概要: Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases
- arxiv url: http://arxiv.org/abs/2212.02648v3
- Date: Mon, 30 Oct 2023 18:22:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 04:20:12.120094
- Title: Spuriosity Rankings: Sorting Data to Measure and Mitigate Biases
- Title(参考訳): spuriosity rankings: バイアスの測定と軽減のためのデータのソート
- Authors: Mazda Moayeri, Wenxiao Wang, Sahil Singla, Soheil Feizi
- Abstract要約: 本稿では,突発的手がかりに依存したモデルバイアスを簡易かつ効果的に測定・緩和する手法を提案する。
我々は,解釈可能なネットワークの深部神経的特徴をベースとして,それらのクラス内の画像のランク付けを行う。
以上の結果から,素早い特徴依存によるモデルバイアスは,モデルがどのようにトレーニングされたかよりも,モデルがトレーニングされていることの影響がはるかに大きいことが示唆された。
- 参考スコア(独自算出の注目度): 62.54519787811138
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a simple but effective method to measure and mitigate model biases
caused by reliance on spurious cues. Instead of requiring costly changes to
one's data or model training, our method better utilizes the data one already
has by sorting them. Specifically, we rank images within their classes based on
spuriosity (the degree to which common spurious cues are present), proxied via
deep neural features of an interpretable network. With spuriosity rankings, it
is easy to identify minority subpopulations (i.e. low spuriosity images) and
assess model bias as the gap in accuracy between high and low spuriosity
images. One can even efficiently remove a model's bias at little cost to
accuracy by finetuning its classification head on low spuriosity images,
resulting in fairer treatment of samples regardless of spuriosity. We
demonstrate our method on ImageNet, annotating $5000$ class-feature
dependencies ($630$ of which we find to be spurious) and generating a dataset
of $325k$ soft segmentations for these features along the way. Having computed
spuriosity rankings via the identified spurious neural features, we assess
biases for $89$ diverse models and find that class-wise biases are highly
correlated across models. Our results suggest that model bias due to spurious
feature reliance is influenced far more by what the model is trained on than
how it is trained.
- Abstract(参考訳): 本稿では,突発的手がかりに依存するモデルバイアスを簡易かつ効果的に測定・緩和する方法を提案する。
データやモデルのトレーニングにコストのかかる変更を必要とせず、既に持っているデータをソートすることでよりうまく利用します。
具体的には、解釈可能なネットワークの深い神経的特徴を介して、スプリシティー(一般的なスプリアスキューが存在する程度)に基づいて、クラス内の画像のランク付けを行う。
高頻度画像と低頻度画像の精度のギャップとしてモデルバイアスを評価することは、スプリオシティランキングにより、マイノリティサブポピュレーション(低頻度画像)の特定が容易である。
低精細度画像に分類ヘッドを微調整することで、モデルのバイアスを少ないコストで効率的に除去することさえ可能で、スプリソリティによらずサンプルを公平に処理することができる。
imagenet上で私たちのメソッドをデモし、5000ドルのクラスフィーチャ依存性に注釈を付けて(630ドル)、これらの機能に対して325k$のsoft segmentationのデータセットを作成しました。
同定されたスプリアス神経特徴を用いてスプリオシティのランキングを計算した結果、89ドルの多様なモデルに対するバイアスを評価し、クラス毎のバイアスがモデル間で高い相関関係にあることを見出した。
以上の結果から,スプリアス機能依存によるモデルバイアスは,モデルのトレーニング方法よりも,モデルがどのようなトレーニングを受けているかによって影響されることが示唆された。
関連論文リスト
- Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。
以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。
データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2024-02-28T07:54:50Z) - Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳(メタデータ) (2023-12-06T16:15:00Z) - Fast Model Debias with Machine Unlearning [54.32026474971696]
ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。
既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。
バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
論文 参考訳(メタデータ) (2023-10-19T08:10:57Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳(メタデータ) (2023-06-03T20:12:27Z) - Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。
Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
論文 参考訳(メタデータ) (2022-09-30T17:33:00Z) - Pseudo Bias-Balanced Learning for Debiased Chest X-ray Classification [57.53567756716656]
本研究では, バイアスラベルを正確に把握せず, 脱バイアス胸部X線診断モデルの開発について検討した。
本稿では,まずサンプルごとのバイアスラベルをキャプチャし,予測する新しいアルゴリズム,擬似バイアスバランス学習を提案する。
提案手法は他の最先端手法よりも一貫した改善を実現した。
論文 参考訳(メタデータ) (2022-03-18T11:02:18Z) - IFBiD: Inference-Free Bias Detection [13.492626767817017]
本論文は、重みを単純に見れば、深層畳み込みニューラルネットワークのバイアスを自動的に検出する方法を初めて探求するものである。
我々は、Colored MNISTデータベースを用いて、おもちゃの例を用いて、ディープネットワークの重み付けにおけるバイアスのエンコード方法を分析する。
論文 参考訳(メタデータ) (2021-09-09T16:01:31Z) - Reinforcement Based Learning on Classification Task Could Yield Better
Generalization and Adversarial Accuracy [0.0]
画像分類タスクを用いて深層学習モデルを訓練する新しい手法を提案する。
強化学習におけるバニラポリシー勾配法に類似した報酬に基づく最適化関数を用いる。
論文 参考訳(メタデータ) (2020-12-08T11:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。