論文の概要: Distributionally Robust Optimization and Invariant Representation Learning for Addressing Subgroup Underrepresentation: Mechanisms and Limitations

• arxiv url: http://arxiv.org/abs/2308.06434v1
• Date: Sat, 12 Aug 2023 01:55:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 17:22:19.994262
• Title: Distributionally Robust Optimization and Invariant Representation Learning for Addressing Subgroup Underrepresentation: Mechanisms and Limitations
• Title（参考訳）: 部分群アンダー表現に対する分布ロバスト最適化と不変表現学習:メカニズムと限界
• Authors: Nilesh Kumar, Ruby Shrestha, Zhiyuan Li, Linwei Wang
• Abstract要約: サブグループの低表現によって引き起こされる純粋相関は、DNNによって永続できるバイアスの源として注目されている。 本研究は,医用画像分類におけるサブグループ非表現による急激な相関の緩和メカニズムの理解と改善に向けた第一歩である。
• 参考スコア（独自算出の注目度）: 10.4894578909708
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spurious correlation caused by subgroup underrepresentation has received increasing attention as a source of bias that can be perpetuated by deep neural networks (DNNs). Distributionally robust optimization has shown success in addressing this bias, although the underlying working mechanism mostly relies on upweighting under-performing samples as surrogates for those underrepresented in data. At the same time, while invariant representation learning has been a powerful choice for removing nuisance-sensitive features, it has been little considered in settings where spurious correlations are caused by significant underrepresentation of subgroups. In this paper, we take the first step to better understand and improve the mechanisms for debiasing spurious correlation due to subgroup underrepresentation in medical image classification. Through a comprehensive evaluation study, we first show that 1) generalized reweighting of under-performing samples can be problematic when bias is not the only cause for poor performance, while 2) naive invariant representation learning suffers from spurious correlations itself. We then present a novel approach that leverages robust optimization to facilitate the learning of invariant representations at the presence of spurious correlations. Finetuned classifiers utilizing such representation demonstrated improved abilities to reduce subgroup performance disparity, while maintaining high average and worst-group performance.
• Abstract（参考訳）: サブグループの低表現によって引き起こされる純粋相関は、ディープニューラルネットワーク(DNN)によって永続できるバイアスの源として注目されている。 分散的にロバストな最適化は、このバイアスに対処することに成功したが、基盤となる作業メカニズムは、主に、データに表現されていない人々の代理として、パフォーマンスの低いサンプルの重み付けに依存している。 同時に、不変表現学習は、ニュアサンスに敏感な特徴を取り除くための強力な選択であるが、部分群の著しい過剰な表現によってスプリアス相関が引き起こされるような設定では、ほとんど考慮されていない。 本稿では,医療画像分類におけるサブグループ表現不足によるスプリアス相関の脱バイアス機構の理解と改善のための第一歩を踏み出す。 まず包括的評価研究を通して 1) 偏りが性能低下の原因でない場合には, 過度なサンプルの一般化された重み付けが問題となる。 2) ナイーブ不変表現学習は, 素早い相関自体に悩まされる。 次に,確率相関の存在下で不変表現の学習を容易にするために,ロバスト最適化を利用する新しい手法を提案する。 このような表現を用いた微調整分類器は、高い平均と最悪のグループ性能を維持しながら、サブグループ性能の格差を低減する能力の向上を示した。

関連論文リスト

• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Supervised Contrastive Learning with Heterogeneous Similarity for Distribution Shifts [3.7819322027528113]
  本稿では,教師付きコントラスト学習を用いた新たな正規化手法を提案する。 サブポピュレーションシフトや領域一般化などの分布シフトをエミュレートするベンチマークデータセットの実験は,提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2023-04-07T01:45:09Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Ensembling over Classifiers: a Bias-Variance Perspective [13.006468721874372]
  Pfau (2013) による偏差分解の拡張の上に構築し, 分類器のアンサンブルの挙動に関する重要な知見を得る。 条件付き推定は必然的に既約誤差を生じさせることを示す。 経験的に、標準的なアンサンブルはバイアスを減少させ、この予期せぬ減少のために、分類器のアンサンブルがうまく機能するかもしれないという仮説を立てる。
  論文  参考訳（メタデータ） (2022-06-21T17:46:35Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Analyzing Overfitting under Class Imbalance in Neural Networks for Image Segmentation [19.259574003403998]
  画像分割では、ニューラルネットワークは小さな構造物の前景サンプルに過剰に適合する可能性がある。 本研究では,ネットワークの動作を検査することにより,クラス不均衡下でのオーバーフィッティング問題に対する新たな知見を提供する。
  論文  参考訳（メタデータ） (2021-02-20T14:57:58Z)
• Why resampling outperforms reweighting for correcting sampling bias with stochastic gradients [10.860844636412862]
  バイアスデータセット上で機械学習モデルをトレーニングするには、バイアスを補うための補正テクニックが必要である。 我々は、目的関数を維持するためにサブグループの比率を再均衡させる2つの一般的な手法、再サンプリングと再重み付けについて検討する。
  論文  参考訳（メタデータ） (2020-09-28T16:12:38Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。