論文の概要: A Systematic Study of Bias Amplification

• arxiv url: http://arxiv.org/abs/2201.11706v1
• Date: Thu, 27 Jan 2022 18:04:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 14:02:02.132554
• Title: A Systematic Study of Bias Amplification
• Title（参考訳）: バイアス増幅に関する体系的研究
• Authors: Melissa Hall, Laurens van der Maaten, Laura Gustafson, Aaron Adcock
• Abstract要約: 近年の研究では、機械学習モデルによる予測は、トレーニングデータに存在するバイアスを増幅することができることが示唆されている。 我々は、バイアス増幅の発生時期と発生状況について、初めて体系的に制御された研究を行う。
• 参考スコア（独自算出の注目度）: 16.245943270343343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research suggests that predictions made by machine-learning models can amplify biases present in the training data. When a model amplifies bias, it makes certain predictions at a higher rate for some groups than expected based on training-data statistics. Mitigating such bias amplification requires a deep understanding of the mechanics in modern machine learning that give rise to that amplification. We perform the first systematic, controlled study into when and how bias amplification occurs. To enable this study, we design a simple image-classification problem in which we can tightly control (synthetic) biases. Our study of this problem reveals that the strength of bias amplification is correlated to measures such as model accuracy, model capacity, model overconfidence, and amount of training data. We also find that bias amplification can vary greatly during training. Finally, we find that bias amplification may depend on the difficulty of the classification task relative to the difficulty of recognizing group membership: bias amplification appears to occur primarily when it is easier to recognize group membership than class membership. Our results suggest best practices for training machine-learning models that we hope will help pave the way for the development of better mitigation strategies.
• Abstract（参考訳）: 最近の研究は、機械学習モデルによる予測がトレーニングデータに存在するバイアスを増幅できることを示唆している。 モデルがバイアスを増幅すると、トレーニングデータ統計に基づいて、いくつかのグループで予想よりも高い確率で特定の予測を行う。 このようなバイアス増幅の緩和には、その増幅を引き起こす現代の機械学習のメカニズムを深く理解する必要がある。 バイアス増幅の発生時期と方法に関する、最初の体系的で制御された研究を行う。 本研究を可能にするために,我々は,(合成)バイアスを厳しく制御できる簡易な画像分類問題を設計した。 本研究は,モデル精度,モデル容量,モデル過剰信頼度,トレーニングデータの量といった尺度とバイアス増幅の強さが相関していることを明らかにする。 また、トレーニング中にバイアス増幅が大きく変化することもわかりました。 最後に,バイアス増幅は,グループメンバシップ認識の難しさに対する分類課題の難しさに依存する可能性があることを見出し,バイアス増幅は主に,クラスメンバシップよりもグループメンバシップの認識が容易な場合に発生する。 以上の結果から,機械学習モデルをトレーニングするためのベストプラクティスが示唆され,より優れた緩和戦略の開発への道を開くことを期待する。

関連論文リスト

• An Effective Theory of Bias Amplification [18.648588509429167]
  機械学習モデルは、データに存在するバイアスをキャプチャして増幅し、社会的グループ間で異なるテストパフォーマンスをもたらす。 本稿では、従来のニューラルネットワークを単純化した状態下でモデル化するリッジ回帰の文脈において、正確な解析理論を提案する。 我々の理論は、機械学習バイアスの統一的で厳密な説明を提供し、バイアス増幅やマイノリティグループバイアスのような現象に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-07T08:43:22Z)
• On the Inductive Bias of Stacking Towards Improving Reasoning [50.225873619537765]
  言語モデルのトレーニングを最大40%高速化できるMIDASと呼ばれる段階的スタック方式を提案する。 MIDASはトレーニング効率だけでなく、ダウンストリームタスクを改善するための誘導バイアスも備えている。 我々は、この帰納バイアスの根底にある理由を、ループモデルへの積み重ねの接続を探索することによって推測する。
  論文  参考訳（メタデータ） (2024-09-27T17:58:21Z)
• Model Debiasing by Learnable Data Augmentation [19.625915578646758]
  本稿では,トレーニングを正規化可能なデータ拡張戦略を備えた,新しい2段階学習パイプラインを提案する。 合成および現実的なバイアス付きデータセットの実験は、最先端の分類精度を示し、競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-08-09T09:19:59Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Directional Bias Amplification [21.482317675176443]
  バイアス増幅(bias amplification)は、モデルがトレーニングしたデータに存在するバイアスを増幅する傾向である。 バイアス増幅を測定するためのメトリックは、Zhao et alによるセミナル作品に導入されました。 バイアス増幅測定のための新しい分離指標である$textbiasamp_rightarrow$(方向バイアス増幅)を紹介し分析する。
  論文  参考訳（メタデータ） (2021-02-24T22:54:21Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Mitigating Gender Bias Amplification in Distribution by Posterior Regularization [75.3529537096899]
  本稿では,男女差の増幅問題について,分布の観点から検討する。 後続正則化に基づくバイアス緩和手法を提案する。 私たちの研究はバイアス増幅の理解に光を当てている。
  論文  参考訳（メタデータ） (2020-05-13T11:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。