論文の概要: Correct-N-Contrast: A Contrastive Approach for Improving Robustness to Spurious Correlations

• arxiv url: http://arxiv.org/abs/2203.01517v1
• Date: Thu, 3 Mar 2022 05:03:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-04 16:05:15.648254
• Title: Correct-N-Contrast: A Contrastive Approach for Improving Robustness to Spurious Correlations
• Title（参考訳）: Correct-N-Contrast:Spurious相関に対するロバスト性改善のためのコントラスト的アプローチ
• Authors: Michael Zhang, Nimit S. Sohoni, Hongyang R. Zhang, Chelsea Finn, Christopher R\'e
• Abstract要約: 豪華な相関関係は、堅牢な機械学習にとって大きな課題となる。 経験的リスク最小化(ERM)で訓練されたモデルは、クラスラベルとスプリアス属性の相関に依存することを学習することができる。 CNC(Correct-N-Contrast, Correct-N-Contrast)を提案する。
• 参考スコア（独自算出の注目度）: 59.24031936150582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spurious correlations pose a major challenge for robust machine learning. Models trained with empirical risk minimization (ERM) may learn to rely on correlations between class labels and spurious attributes, leading to poor performance on data groups without these correlations. This is particularly challenging to address when spurious attribute labels are unavailable. To improve worst-group performance on spuriously correlated data without training attribute labels, we propose Correct-N-Contrast (CNC), a contrastive approach to directly learn representations robust to spurious correlations. As ERM models can be good spurious attribute predictors, CNC works by (1) using a trained ERM model's outputs to identify samples with the same class but dissimilar spurious features, and (2) training a robust model with contrastive learning to learn similar representations for same-class samples. To support CNC, we introduce new connections between worst-group error and a representation alignment loss that CNC aims to minimize. We empirically observe that worst-group error closely tracks with alignment loss, and prove that the alignment loss over a class helps upper-bound the class's worst-group vs. average error gap. On popular benchmarks, CNC reduces alignment loss drastically, and achieves state-of-the-art worst-group accuracy by 3.6% average absolute lift. CNC is also competitive with oracle methods that require group labels.
• Abstract（参考訳）: スプリアス相関は、堅牢な機械学習にとって大きな課題となる。 経験的リスク最小化(experience risk minimization, erm)でトレーニングされたモデルは、クラスラベルとスプリアス属性の相関に依存することを学び、これらの相関を伴わないデータグループのパフォーマンスを低下させる。 これは、sprious属性ラベルが利用できない場合に特に対処が難しい。 属性ラベルをトレーニングすることなく,スプリアス相関データの最悪グループ性能を改善するために,スプリアス相関に頑健な表現を直接学習するコントラスト(cnc)を提案する。 ERMモデルは優れたスプリアス特性予測器となり得るため、CNCは(1)訓練されたERMモデルの出力を使用して同一クラスでサンプルを識別するが、異なるスプリアス特徴を識別し、(2)対照的な学習で頑健なモデルを訓練し、同クラスのサンプルについて同様の表現を学習する。 cncをサポートするために,cncが最小化しようとする,最悪のグループエラーと表現アライメント損失との新たな接続を導入する。 我々は,クラス上のアライメント損失が,クラス上のアライメント損失が,クラス内の最悪のグループと平均エラーギャップの上限に達するのに役立つことを示す。 一般的なベンチマークでは、CNCはアライメント損失を大幅に減らし、最先端の最悪のグループ精度を平均3.6%向上させる。 CNCはまた、グループラベルを必要とするオラクルメソッドと競合する。

関連論文リスト

• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• The Group Robustness is in the Details: Revisiting Finetuning under Spurious Correlations [8.844894807922902]
  現代の機械学習モデルは、素早い相関に過度に依存する傾向がある。 本稿では,最短群精度における微調整モデルの意外かつニュアンスな挙動を同定する。 以上の結果より,群強靭性を有する現代ファインチュードモデルの微妙な相互作用が以前よりも顕著に示された。
  論文  参考訳（メタデータ） (2024-07-19T00:34:03Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Bias Amplification Enhances Minority Group Performance [10.380812738348899]
  本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。 第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。 第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
  論文  参考訳（メタデータ） (2023-09-13T04:40:08Z)
• Avoiding spurious correlations via logit correction [21.261525854506743]
  実証的研究は、経験的リスクで訓練された機械学習モデルは、しばしばクラスラベルと突発的に相関する可能性のある属性に依存していることを示唆している。 本研究では,学習データの大部分に潜在的に急激な相関が存在する状況について考察する。 サンプルロジットを補正するために,ソフトマックスクロスエントロピー損失の簡易かつ効果的な改善であるロジット補正(LC)損失を提案する。
  論文  参考訳（メタデータ） (2022-12-02T20:30:59Z)
• AGRO: Adversarial Discovery of Error-prone groups for Robust Optimization [109.91265884632239]
  群分散ロバスト最適化(G-DRO)は、トレーニングデータに対する事前定義されたグループのセットに対する最悪の損失を最小限にすることができる。 本稿では、分散ロバスト最適化のためのAGRO -- Adversarial Group Discoveryを提案する。 AGROは、既知の最悪のグループの平均モデルパフォーマンスを8%向上させる。
  論文  参考訳（メタデータ） (2022-12-02T00:57:03Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Decorrelated Clustering with Data Selection Bias [55.91842043124102]
  本稿では,データ選択バイアスを伴うクラスタリングのためのデコリレーション正規化K-Meansアルゴリズム(DCKM)を提案する。 DCKMアルゴリズムは,選択バイアスによって生じる予期せぬ特徴相関を除去する必要があることを示す。
  論文  参考訳（メタデータ） (2020-06-29T08:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。