論文の概要: When majority rules, minority loses: bias amplification of gradient descent

• arxiv url: http://arxiv.org/abs/2505.13122v1
• Date: Mon, 19 May 2025 13:51:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.626472
• Title: When majority rules, minority loses: bias amplification of gradient descent
• Title（参考訳）: 多数派が支配すれば少数派は負ける―勾配降下のバイアス増幅
• Authors: François Bachoc, Jérôme Bolte, Ryan Boustany, Jean-Michel Loubes,
• Abstract要約: 多数派マイノリティ学習タスクのための形式的なフレームワークを開発する。 標準トレーニングが多数派を優遇し,少数派特有の特徴を無視するステレオタイプ予測器を作成できることを示す。
• 参考スコア（独自算出の注目度）: 13.430752634838544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite growing empirical evidence of bias amplification in machine learning, its theoretical foundations remain poorly understood. We develop a formal framework for majority-minority learning tasks, showing how standard training can favor majority groups and produce stereotypical predictors that neglect minority-specific features. Assuming population and variance imbalance, our analysis reveals three key findings: (i) the close proximity between ``full-data'' and stereotypical predictors, (ii) the dominance of a region where training the entire model tends to merely learn the majority traits, and (iii) a lower bound on the additional training required. Our results are illustrated through experiments in deep learning for tabular and image classification tasks.
• Abstract（参考訳）: 機械学習におけるバイアス増幅の実証的な証拠が増えているにもかかわらず、その理論的基礎はいまだに理解されていない。 多数派マイノリティ学習タスクのための形式的枠組みを開発し、標準トレーニングが多数派を優遇し、少数派特有の特徴を無視するステレオタイプ予測器を作成できることを示す。 人口と分散の不均衡を仮定すると、我々の分析では3つの重要な発見が明らかになった。 (i) ‘full-data’とステレオタイプ予測器の近接性 二 モデル全体の訓練が単に過半数の特質を学習する傾向がある地域の支配 三 追加訓練の限界を低くすること。 本研究は,表層・画像分類タスクの深層学習実験を通して行った。

関連論文リスト

• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Can Biases in ImageNet Models Explain Generalization? [13.802802975822704]
  一般化は、現在のディープラーニング手法における大きな課題の1つです。 画像分類において、これは敵対的攻撃の存在、歪んだ画像のパフォーマンス低下、スケッチのような概念への一般化の欠如に現れている。 我々は,48のイメージネットモデルに対して,これらのバイアスが一般化とどのように相互作用するかを理解するために,異なるトレーニング手法を用いて得られた大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-04-01T22:25:48Z)
• Diversity-Aware Agnostic Ensemble of Sharpness Minimizers [24.160975100349376]
  深層アンサンブルにおける多様性と平坦性を促進する学習アルゴリズムであるDASHを提案する。 我々は,本手法の理論的バックボーンと,アンサンブルの一般化性の向上を示す広範な実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-03-19T23:50:11Z)
• How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance [64.1656365676171]
  グループ不均衡は経験的リスク最小化において既知の問題である。 本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
  論文  参考訳（メタデータ） (2024-03-12T04:38:05Z)
• Evaluating Bias and Fairness in Gender-Neutral Pretrained Vision-and-Language Models [23.65626682262062]
  我々は,3種類の視覚・言語モデルを用いた事前学習および微調整後のバイアス増幅の定量化を行う。 全体として、事前学習および微調整後のバイアス増幅は独立である。
  論文  参考訳（メタデータ） (2023-10-26T16:19:19Z)
• Multi-dimensional domain generalization with low-rank structures [18.565189720128856]
  統計的および機械学習の手法では、テストデータがトレーニングデータと同一に分散されていると仮定されるのが一般的である。 この仮定は必ずしも成り立たないが、特にトレーニングデータに対象の個体群がよく表現されていないアプリケーションでは顕著である。 線形回帰モデルにおいて,この問題に対処するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-18T08:07:58Z)
• A Systematic Study of Bias Amplification [16.245943270343343]
  近年の研究では、機械学習モデルによる予測は、トレーニングデータに存在するバイアスを増幅することができることが示唆されている。 我々は、バイアス増幅の発生時期と発生状況について、初めて体系的に制御された研究を行う。
  論文  参考訳（メタデータ） (2022-01-27T18:04:24Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)
• M2m: Imbalanced Classification via Major-to-minor Translation [79.09018382489506]
  ほとんどの実世界のシナリオでは、ラベル付きトレーニングデータセットは非常にクラス不均衡であり、ディープニューラルネットワークは、バランスの取れたテスト基準への一般化に苦しむ。 本稿では,より頻度の低いクラスを,より頻度の低いクラスからのサンプルを翻訳することによって,この問題を緩和する新しい方法を提案する。 提案手法は,従来の再サンプリング法や再重み付け法と比較して,マイノリティクラスの一般化を著しく改善することを示す。
  論文  参考訳（メタデータ） (2020-04-01T13:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。