論文の概要: An Investigation of Why Overparameterization Exacerbates Spurious Correlations

• arxiv url: http://arxiv.org/abs/2005.04345v3
• Date: Wed, 26 Aug 2020 19:32:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 06:35:02.900331
• Title: An Investigation of Why Overparameterization Exacerbates Spurious Correlations
• Title（参考訳）: 過剰パラメータ化がスプリアス相関を悪化させる理由の検討
• Authors: Shiori Sagawa, Aditi Raghunathan, Pang Wei Koh, Percy Liang
• Abstract要約: この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
• 参考スコア（独自算出の注目度）: 98.3066727301239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study why overparameterization -- increasing model size well beyond the point of zero training error -- can hurt test error on minority groups despite improving average test error when there are spurious correlations in the data. Through simulations and experiments on two image datasets, we identify two key properties of the training data that drive this behavior: the proportions of majority versus minority groups, and the signal-to-noise ratio of the spurious correlations. We then analyze a linear setting and theoretically show how the inductive bias of models towards "memorizing" fewer examples can cause overparameterization to hurt. Our analysis leads to a counterintuitive approach of subsampling the majority group, which empirically achieves low minority error in the overparameterized regime, even though the standard approach of upweighting the minority fails. Overall, our results suggest a tension between using overparameterized models versus using all the training data for achieving low worst-group error.
• Abstract（参考訳）: 過パラメータ化 -- トレーニングエラーゼロ以上のモデルサイズの増加 -- が、データに急激な相関がある場合の平均テストエラーを改善するにもかかわらず、マイノリティグループのテストエラーを損なう可能性がある理由を研究する。 2つの画像データセットのシミュレーションと実験を通じて、この振る舞いを駆動するトレーニングデータの2つの重要な特性、多数派と少数派のグループの比率、スプリアス相関の信号対雑音比を同定した。 次に線形設定を解析し,モデルの「記憶」の少ない例に対する帰納的バイアスが過剰パラメータ化を損なう原因を理論的に示す。 我々の分析は、少数派をサブサンプリングする反直感的なアプローチにつながります。これは、少数派を誇張する標準的なアプローチが失敗しても、過度なパラメータ化体制における低少数派誤差を経験的に達成します。 以上の結果から, 過パラメータ化モデルとトレーニングデータとの相関関係が示唆された。

関連論文リスト

• Adversarial Reweighting Guided by Wasserstein Distance for Bias Mitigation [24.160692009892088]
  データ中のマイノリティの下位表現は、学習中のサブポピュレーションの異なる扱いを困難にしている。 本稿では,このような表現バイアスに対処する新たな逆方向再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-11-21T15:46:11Z)
• How does overparametrization affect performance on minority groups? [39.54853544590893]
  オーバーパラメータ化は常に少数群のパフォーマンスを改善することを示す。 多数派と少数派の回帰関数が異なる設定では、パラメータ化が常に少数派のパフォーマンスを改善することを示す。
  論文  参考訳（メタデータ） (2022-06-07T18:00:52Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Parameters or Privacy: A Provable Tradeoff Between Overparameterization and Membership Inference [29.743945643424553]
  オーバーパラメータ化モデルは、トレーニングデータ(トレーニングデータではゼロエラー)を記憶するように訓練された場合でも、うまく(テストデータでは小さなエラー)一般化する。 このことが、パラメータ化されたモデル(例えばディープラーニング)をますます超越する武器競争に繋がった。
  論文  参考訳（メタデータ） (2022-02-02T19:00:21Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Efficient Causal Inference from Combined Observational and Interventional Data through Causal Reductions [68.6505592770171]
  因果効果を推定する際の主な課題の1つである。 そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。 パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T14:29:07Z)
• Memorizing without overfitting: Bias, variance, and interpolation in over-parameterized models [0.0]
  バイアス分散トレードオフは教師あり学習における中心的な概念である。 現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
  論文  参考訳（メタデータ） (2020-10-26T22:31:04Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
  判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。 線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-05-08T05:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。