論文の概要: How does overparametrization affect performance on minority groups?

• arxiv url: http://arxiv.org/abs/2206.03515v1
• Date: Tue, 7 Jun 2022 18:00:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 15:03:05.191965
• Title: How does overparametrization affect performance on minority groups?
• Title（参考訳）: 過度なパラメトリゼーションは少数派のパフォーマンスにどのように影響するか?
• Authors: Subha Maity, Saptarshi Roy, Songkai Xue, Mikhail Yurochkin, Yuekai Sun
• Abstract要約: オーバーパラメータ化は常に少数群のパフォーマンスを改善することを示す。 多数派と少数派の回帰関数が異なる設定では、パラメータ化が常に少数派のパフォーマンスを改善することを示す。
• 参考スコア（独自算出の注目度）: 39.54853544590893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The benefits of overparameterization for the overall performance of modern machine learning (ML) models are well known. However, the effect of overparameterization at a more granular level of data subgroups is less understood. Recent empirical studies demonstrate encouraging results: (i) when groups are not known, overparameterized models trained with empirical risk minimization (ERM) perform better on minority groups; (ii) when groups are known, ERM on data subsampled to equalize group sizes yields state-of-the-art worst-group-accuracy in the overparameterized regime. In this paper, we complement these empirical studies with a theoretical investigation of the risk of overparameterized random feature models on minority groups. In a setting in which the regression functions for the majority and minority groups are different, we show that overparameterization always improves minority group performance.
• Abstract（参考訳）: 現代の機械学習(ML)モデルの全体的なパフォーマンスに対するオーバーパラメータ化の利点はよく知られている。 しかし、より粒度の細かいデータサブグループにおける過度パラメータ化の効果は理解されていない。 最近の実証研究は、励ましの結果を示している。 i) 集団が不明な場合,経験的リスク最小化(ERM)で訓練された過度パラメータ化モデルは,少数群に対してより良い性能を発揮する。 2) 群が知られている場合, グループサイズを等化するためにサンプリングされたデータ上のERMは, 過度にパラメータ化された状態において, 最先端の最悪のグループ精度をもたらす。 本稿では,これらの実証研究を補完し,少数集団における過度パラメータ化ランダム特徴モデルのリスクに関する理論的研究を行う。 多数派と少数派の回帰関数が異なる環境では、過パラメータ化は常に少数派のパフォーマンスを改善することを示す。

関連論文リスト

• The Group Robustness is in the Details: Revisiting Finetuning under Spurious Correlations [8.844894807922902]
  現代の機械学習モデルは、素早い相関に過度に依存する傾向がある。 本稿では,最短群精度における微調整モデルの意外かつニュアンスな挙動を同定する。 以上の結果より,群強靭性を有する現代ファインチュードモデルの微妙な相互作用が以前よりも顕著に示された。
  論文  参考訳（メタデータ） (2024-07-19T00:34:03Z)
• How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance [64.1656365676171]
  グループ不均衡は経験的リスク最小化において既知の問題である。 本稿では,個々の集団がサンプルの複雑さ,収束率,平均および群レベルの試験性能に与える影響を定量化する。
  論文  参考訳（メタデータ） (2024-03-12T04:38:05Z)
• Adversarial Reweighting Guided by Wasserstein Distance for Bias Mitigation [24.160692009892088]
  データ中のマイノリティの下位表現は、学習中のサブポピュレーションの異なる扱いを困難にしている。 本稿では,このような表現バイアスに対処する新たな逆方向再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-11-21T15:46:11Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
  本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。 いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-09T20:37:16Z)
• Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
  既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-13T06:04:43Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。