論文の概要: An Effective Theory of Bias Amplification

• arxiv url: http://arxiv.org/abs/2410.17263v2
• Date: Mon, 28 Oct 2024 16:24:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:19:55.260726
• Title: An Effective Theory of Bias Amplification
• Title（参考訳）: バイアス増幅の有効理論
• Authors: Arjun Subramonian, Sam Bell, Levent Sagun, Elvis Dohmatob,
• Abstract要約: 機械学習モデルは、データに存在するバイアスをキャプチャして増幅し、社会的グループ間で異なるテストパフォーマンスをもたらす。 本稿では、従来のニューラルネットワークを単純化した状態下でモデル化するリッジ回帰の文脈において、正確な解析理論を提案する。 我々の理論は、機械学習バイアスの統一的で厳密な説明を提供し、バイアス増幅やマイノリティグループバイアスのような現象に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 16.367422985131327
• License:
• Abstract: Machine learning models may capture and amplify biases present in data, leading to disparate test performance across social groups. To better understand, evaluate, and mitigate these possible biases, a deeper theoretical understanding of how model design choices and data distribution properties could contribute to bias is needed. In this work, we contribute a precise analytical theory in the context of ridge regression, both with and without random projections, where the former models neural networks in a simplified regime. Our theory offers a unified and rigorous explanation of machine learning bias, providing insights into phenomena such as bias amplification and minority-group bias in various feature and parameter regimes. For example, we demonstrate that there may be an optimal regularization penalty or training time to avoid bias amplification, and there can be fundamental differences in test error between groups that do not vanish with increased parameterization. Importantly, our theoretical predictions align with several empirical observations reported in the literature. We extensively empirically validate our theory on diverse synthetic and semi-synthetic datasets.
• Abstract（参考訳）: 機械学習モデルは、データに存在するバイアスをキャプチャして増幅し、社会的グループ間で異なるテストパフォーマンスをもたらす。 これらのバイアスをより深く理解し、評価し、緩和するためには、モデル設計の選択とデータ分散特性がバイアスにどのように貢献するかに関する深い理論的理解が必要である。 本研究では,従来のニューラルネットワークを簡易な状態にモデル化したランダムな投射と無作為な投射の両面において,リッジ回帰の文脈において正確な解析理論を提出する。 我々の理論は、機械学習のバイアスに関する統一的で厳密な説明を提供し、様々な特徴とパラメータの体系におけるバイアス増幅やマイノリティグループバイアスのような現象についての洞察を提供する。 例えば、バイアス増幅を避けるために最適な正則化ペナルティやトレーニング時間があることを示し、パラメータ化の増大で消滅しないグループ間でテストエラーに根本的な違いがあることを示した。 重要なことは、我々の理論予測は文献で報告されたいくつかの経験的観察と一致している。 我々は、多種多様な合成および半合成データセットに関する我々の理論を広範囲に検証した。

関連論文リスト

• Bias Amplification: Language Models as Increasingly Biased Media [13.556583047930065]
  本稿では,バイアス増幅に必要な十分条件を定義する理論的枠組みを提案する。 我々は GPT-2 を用いて実験を行い, バイアス増幅を実証した。 保存と蓄積の両方がバイアス増幅とモデル崩壊を効果的に緩和することがわかった。
  論文  参考訳（メタデータ） (2024-10-19T22:53:27Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Bias-inducing geometries: an exactly solvable data model with fairness implications [13.690313475721094]
  我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。 この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。 フェアネス評価によく用いられる観測対象の正確な予測値を得る。
  論文  参考訳（メタデータ） (2022-05-31T16:27:57Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Long Story Short: Omitted Variable Bias in Causal Machine Learning [26.60315380737132]
  我々は、幅広い共通因果パラメータに対する省略変数バイアスの理論を開発する。 省略変数の最大説明力に対する簡易な妥当性判定は,バイアスの大きさを限定するのに十分であることを示す。 本研究では,現代の機械学習アルゴリズムを応用して推定を行う,フレキシブルで効率的な統計的推論手法を提案する。
  論文  参考訳（メタデータ） (2021-12-26T15:38:23Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition [34.235007566913396]
  ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。 バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。 我々はまた、著しく豊かな現象論も分析する。
  論文  参考訳（メタデータ） (2020-11-04T21:04:02Z)
• Memorizing without overfitting: Bias, variance, and interpolation in over-parameterized models [0.0]
  バイアス分散トレードオフは教師あり学習における中心的な概念である。 現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
  論文  参考訳（メタデータ） (2020-10-26T22:31:04Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。