論文の概要: Correct-N-Contrast: A Contrastive Approach for Improving Robustness to
Spurious Correlations
- arxiv url: http://arxiv.org/abs/2203.01517v1
- Date: Thu, 3 Mar 2022 05:03:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 16:05:15.648254
- Title: Correct-N-Contrast: A Contrastive Approach for Improving Robustness to
Spurious Correlations
- Title(参考訳): Correct-N-Contrast:Spurious相関に対するロバスト性改善のためのコントラスト的アプローチ
- Authors: Michael Zhang, Nimit S. Sohoni, Hongyang R. Zhang, Chelsea Finn,
Christopher R\'e
- Abstract要約: 豪華な相関関係は、堅牢な機械学習にとって大きな課題となる。
経験的リスク最小化(ERM)で訓練されたモデルは、クラスラベルとスプリアス属性の相関に依存することを学習することができる。
CNC(Correct-N-Contrast, Correct-N-Contrast)を提案する。
- 参考スコア(独自算出の注目度): 59.24031936150582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spurious correlations pose a major challenge for robust machine learning.
Models trained with empirical risk minimization (ERM) may learn to rely on
correlations between class labels and spurious attributes, leading to poor
performance on data groups without these correlations. This is particularly
challenging to address when spurious attribute labels are unavailable. To
improve worst-group performance on spuriously correlated data without training
attribute labels, we propose Correct-N-Contrast (CNC), a contrastive approach
to directly learn representations robust to spurious correlations. As ERM
models can be good spurious attribute predictors, CNC works by (1) using a
trained ERM model's outputs to identify samples with the same class but
dissimilar spurious features, and (2) training a robust model with contrastive
learning to learn similar representations for same-class samples. To support
CNC, we introduce new connections between worst-group error and a
representation alignment loss that CNC aims to minimize. We empirically observe
that worst-group error closely tracks with alignment loss, and prove that the
alignment loss over a class helps upper-bound the class's worst-group vs.
average error gap. On popular benchmarks, CNC reduces alignment loss
drastically, and achieves state-of-the-art worst-group accuracy by 3.6% average
absolute lift. CNC is also competitive with oracle methods that require group
labels.
- Abstract(参考訳): スプリアス相関は、堅牢な機械学習にとって大きな課題となる。
経験的リスク最小化(experience risk minimization, erm)でトレーニングされたモデルは、クラスラベルとスプリアス属性の相関に依存することを学び、これらの相関を伴わないデータグループのパフォーマンスを低下させる。
これは、sprious属性ラベルが利用できない場合に特に対処が難しい。
属性ラベルをトレーニングすることなく,スプリアス相関データの最悪グループ性能を改善するために,スプリアス相関に頑健な表現を直接学習するコントラスト(cnc)を提案する。
ERMモデルは優れたスプリアス特性予測器となり得るため、CNCは(1)訓練されたERMモデルの出力を使用して同一クラスでサンプルを識別するが、異なるスプリアス特徴を識別し、(2)対照的な学習で頑健なモデルを訓練し、同クラスのサンプルについて同様の表現を学習する。
cncをサポートするために,cncが最小化しようとする,最悪のグループエラーと表現アライメント損失との新たな接続を導入する。
我々は,クラス上のアライメント損失が,クラス上のアライメント損失が,クラス内の最悪のグループと平均エラーギャップの上限に達するのに役立つことを示す。
一般的なベンチマークでは、CNCはアライメント損失を大幅に減らし、最先端の最悪のグループ精度を平均3.6%向上させる。
CNCはまた、グループラベルを必要とするオラクルメソッドと競合する。
関連論文リスト
- Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Bias Amplification Enhances Minority Group Performance [11.666993206100896]
本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。
第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。
第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
論文 参考訳(メタデータ) (2023-09-13T04:40:08Z) - Avoiding spurious correlations via logit correction [21.261525854506743]
実証的研究は、経験的リスクで訓練された機械学習モデルは、しばしばクラスラベルと突発的に相関する可能性のある属性に依存していることを示唆している。
本研究では,学習データの大部分に潜在的に急激な相関が存在する状況について考察する。
サンプルロジットを補正するために,ソフトマックスクロスエントロピー損失の簡易かつ効果的な改善であるロジット補正(LC)損失を提案する。
論文 参考訳(メタデータ) (2022-12-02T20:30:59Z) - AGRO: Adversarial Discovery of Error-prone groups for Robust
Optimization [109.91265884632239]
群分散ロバスト最適化(G-DRO)は、トレーニングデータに対する事前定義されたグループのセットに対する最悪の損失を最小限にすることができる。
本稿では、分散ロバスト最適化のためのAGRO -- Adversarial Group Discoveryを提案する。
AGROは、既知の最悪のグループの平均モデルパフォーマンスを8%向上させる。
論文 参考訳(メタデータ) (2022-12-02T00:57:03Z) - Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。
本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。
このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
論文 参考訳(メタデータ) (2022-08-26T12:34:55Z) - Just Train Twice: Improving Group Robustness without Training Group
Information [101.84574184298006]
経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。
群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。
本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
論文 参考訳(メタデータ) (2021-07-19T17:52:32Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-14T05:39:09Z) - Label-Imbalanced and Group-Sensitive Classification under
Overparameterization [32.923780772605596]
ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。
標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。
本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
論文 参考訳(メタデータ) (2021-03-02T08:09:43Z) - Decorrelated Clustering with Data Selection Bias [55.91842043124102]
本稿では,データ選択バイアスを伴うクラスタリングのためのデコリレーション正規化K-Meansアルゴリズム(DCKM)を提案する。
DCKMアルゴリズムは,選択バイアスによって生じる予期せぬ特徴相関を除去する必要があることを示す。
論文 参考訳(メタデータ) (2020-06-29T08:55:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。