論文の概要: Making Bias Amplification in Balanced Datasets Directional and Interpretable
- arxiv url: http://arxiv.org/abs/2412.11060v1
- Date: Sun, 15 Dec 2024 05:32:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:59:56.364300
- Title: Making Bias Amplification in Balanced Datasets Directional and Interpretable
- Title(参考訳): バランスデータセットにおけるバイアス増幅の方向性と解釈性
- Authors: Bhanu Tokas, Rahul Nair, Hannah Kerner,
- Abstract要約: 我々は、方向予測可能性増幅(DPA)と呼ばれる新しい予測可能性に基づくメトリクスを提案する。
DPAは、バランスの取れたデータセットであっても、方向バイアス増幅を測定する。
実験の結果,DPAは指向性バイアス増幅の測定に有効な指標であることがわかった。
- 参考スコア(独自算出の注目度): 13.38327450225136
- License:
- Abstract: Most of the ML datasets we use today are biased. When we train models on these biased datasets, they often not only learn dataset biases but can also amplify them -- a phenomenon known as bias amplification. Several co-occurrence-based metrics have been proposed to measure bias amplification between a protected attribute A (e.g., gender) and a task T (e.g., cooking). However, these metrics fail to measure biases when A is balanced with T. To measure bias amplification in balanced datasets, recent work proposed a predictability-based metric called leakage amplification. However, leakage amplification cannot identify the direction in which biases are amplified. In this work, we propose a new predictability-based metric called directional predictability amplification (DPA). DPA measures directional bias amplification, even for balanced datasets. Unlike leakage amplification, DPA is easier to interpret and less sensitive to attacker models (a hyperparameter in predictability-based metrics). Our experiments on tabular and image datasets show that DPA is an effective metric for measuring directional bias amplification. The code will be available soon.
- Abstract(参考訳): 私たちが現在使用しているMLデータセットのほとんどはバイアスがあります。
これらのバイアス付きデータセットでモデルをトレーニングする場合、データセットバイアスを学ぶだけでなく、バイアス増幅と呼ばれる現象を増幅することもしばしばあります。
保護属性A(例,性別)とタスクT(例,調理)との間のバイアス増幅を測定するために,共起性に基づく指標がいくつか提案されている。
バランスの取れたデータセットのバイアス増幅を測定するために、最近の研究は、リーク増幅と呼ばれる予測可能性に基づくメトリクスを提案した。
しかし、漏洩増幅はバイアスが増幅される方向を特定することができない。
本研究では,方向予測可能性増幅(DPA)と呼ばれる新しい予測可能性基準を提案する。
DPAは、バランスの取れたデータセットであっても、方向バイアス増幅を測定する。
リーク増幅とは異なり、DPAは容易に解釈でき、アタッカーモデル(予測可能性に基づくメトリクスのハイパーパラメータ)に敏感ではない。
表と画像のデータセットを用いた実験により,DPAは指向性バイアス増幅の測定に有効な指標であることが示された。
コードはまもなく利用可能になる。
関連論文リスト
- Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
統計的観点から「データセットバイアス」問題を考察する。
問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。
本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
論文 参考訳(メタデータ) (2024-02-05T22:58:06Z) - IBADR: an Iterative Bias-Aware Dataset Refinement Framework for
Debiasing NLU models [52.03761198830643]
IBADR(Iterative Bias-Aware dataset Refinement framework)を提案する。
まず、プール内のサンプルのバイアス度を定量化するために浅いモデルを訓練する。
次に、各サンプルにバイアス度を表すバイアス指標をペアにして、これらの拡張サンプルを使用してサンプルジェネレータを訓練する。
このようにして、このジェネレータは、バイアスインジケータとサンプルの対応関係を効果的に学習することができる。
論文 参考訳(メタデータ) (2023-11-01T04:50:38Z) - SMoA: Sparse Mixture of Adapters to Mitigate Multiple Dataset Biases [27.56143777363971]
本稿では,複数のデータセットのバイアスを効果的かつ効率的に緩和できる分散混合適応器(SMOA)を提案する。
自然言語推論およびパラフレーズ識別タスクの実験は、SMoAがフルファインタニング、アダプタチューニングベースライン、および以前の強いデバイアス法よりも優れていることを示した。
論文 参考訳(メタデータ) (2023-02-28T08:47:20Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-11T06:16:14Z) - Men Also Do Laundry: Multi-Attribute Bias Amplification [2.492300648514129]
コンピュータビジョンシステムは再生だけでなく、有害な社会的バイアスを増幅している。
マルチ属性バイアス増幅という新しい指標を提案する。
提案手法は,COCOおよびImsituデータセットにおける性別バイアス増幅の分析を通じて検証する。
論文 参考訳(メタデータ) (2022-10-21T12:50:15Z) - A Systematic Study of Bias Amplification [16.245943270343343]
近年の研究では、機械学習モデルによる予測は、トレーニングデータに存在するバイアスを増幅することができることが示唆されている。
我々は、バイアス増幅の発生時期と発生状況について、初めて体系的に制御された研究を行う。
論文 参考訳(メタデータ) (2022-01-27T18:04:24Z) - Evading the Simplicity Bias: Training a Diverse Set of Models Discovers
Solutions with Superior OOD Generalization [93.8373619657239]
SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。
この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。
単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
論文 参考訳(メタデータ) (2021-05-12T12:12:24Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳(メタデータ) (2021-03-23T17:48:56Z) - Directional Bias Amplification [21.482317675176443]
バイアス増幅(bias amplification)は、モデルがトレーニングしたデータに存在するバイアスを増幅する傾向である。
バイアス増幅を測定するためのメトリックは、Zhao et alによるセミナル作品に導入されました。
バイアス増幅測定のための新しい分離指標である$textbiasamp_rightarrow$(方向バイアス増幅)を紹介し分析する。
論文 参考訳(メタデータ) (2021-02-24T22:54:21Z) - Mitigating Gender Bias Amplification in Distribution by Posterior
Regularization [75.3529537096899]
本稿では,男女差の増幅問題について,分布の観点から検討する。
後続正則化に基づくバイアス緩和手法を提案する。
私たちの研究はバイアス増幅の理解に光を当てている。
論文 参考訳(メタデータ) (2020-05-13T11:07:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。