論文の概要: Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation
- arxiv url: http://arxiv.org/abs/2410.05345v1
- Date: Mon, 7 Oct 2024 08:17:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 19:17:28.532310
- Title: Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation
- Title（参考訳）: トレーニングされたモデルがグループアノテーションを使わずに暗黙の相関にロバストにする方法を教えてくれる
- Authors: Mahdi Ghaznavi, Hesam Asadollahzadeh, Fahimeh Hosseini Noohdani, Soroush Vafaie Tabar, Hosein Hasani, Taha Akbari Alvanagh, Mohammad Hossein Rohban, Mahdieh Soleymani Baghshah,
- Abstract要約: 経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。
これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。
本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
- 参考スコア（独自算出の注目度）: 3.894771553698554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classifiers trained with Empirical Risk Minimization (ERM) tend to rely on attributes that have high spurious correlation with the target. This can degrade the performance on underrepresented (or 'minority') groups that lack these attributes, posing significant challenges for both out-of-distribution generalization and fairness objectives. Many studies aim to enhance robustness to spurious correlation, but they sometimes depend on group annotations for training. Additionally, a common limitation in previous research is the reliance on group-annotated validation datasets for model selection. This constrains their applicability in situations where the nature of the spurious correlation is not known, or when group labels for certain spurious attributes are not available. To enhance model robustness with minimal group annotation assumptions, we propose Environment-based Validation and Loss-based Sampling (EVaLS). It uses the losses from an ERM-trained model to construct a balanced dataset of high-loss and low-loss samples, mitigating group imbalance in data. This significantly enhances robustness to group shifts when equipped with a simple post-training last layer retraining. By using environment inference methods to create diverse environments with correlation shifts, EVaLS can potentially eliminate the need for group annotation in validation data. In this context, the worst environment accuracy acts as a reliable surrogate throughout the retraining process for tuning hyperparameters and finding a model that performs well across diverse group shifts. EVaLS effectively achieves group robustness, showing that group annotation is not necessary even for validation. It is a fast, straightforward, and effective approach that reaches near-optimal worst group accuracy without needing group annotations, marking a new chapter in the robustness of trained models against spurious correlation.
- Abstract（参考訳）: 経験的リスク最小化(Empirical Risk Minimization, ERM)で訓練された分類器は、目標と高い相関関係を持つ属性に依存する傾向にある。
これにより、これらの属性を欠く表現不足群(または「マイノリティ」)のパフォーマンスを低下させ、分布外一般化と公正目的の両方に重大な課題を生じさせる。
多くの研究は、刺激的な相関に頑健性を高めることを目的としているが、訓練のためのグループアノテーションに依存することもある。
さらに、過去の研究で共通する制限は、モデル選択のためのグループアノテーション付き検証データセットに依存することである。
これにより、スプリアス相関の性質が分かっていない状況や、特定のスプリアス属性に対するグループラベルが利用できない状況において、それらの適用性が制限される。
グループアノテーションの仮定を最小化してモデルロバスト性を高めるため,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
ERM訓練モデルによる損失を利用して、高損失と低損失のサンプルのバランスの取れたデータセットを構築し、データのグループ不均衡を緩和する。
これにより、単純なトレーニング後の最終層再トレーニングを備えた場合、グループシフトに対するロバスト性が大幅に向上する。
環境推論手法を用いて相関シフトを伴う多様な環境を作成することにより、EVaLSは検証データにおけるグループアノテーションの必要性を排除できる可能性がある。
この文脈において、最悪の環境精度は、ハイパーパラメータをチューニングし、多様なグループシフトでうまく機能するモデルを見つけるためのトレーニングプロセスを通して信頼できる代理として機能する。
EVaLSは有効にグループロバスト性を実現し、検証にもグループアノテーションは必要ないことを示す。
これは高速で単純で効果的なアプローチであり、グループアノテーションを必要とせず、最適に近いグループ精度に達する。
関連論文リスト
- Efficient Bias Mitigation Without Privileged Information [14.21628601482357]
経験的リスク最小化を通じてトレーニングされたディープニューラルネットワークは、グループ間での大きなパフォーマンス格差を示すことが多い。
この問題に対処しようとする既存のバイアス軽減手法は、トレーニングや検証のためにグループラベルに依存していることが多い。
本稿では,支援者モデルのトレーニング履歴全体を活用するフレームワークであるTAB(Targeted Augmentations for Bias Mitigation)を提案する。
また,TABはグループ情報やモデル選択を使わずにグループ性能を向上し,全体の精度を維持しながら既存手法よりも優れていたことを示す。
論文 参考訳（メタデータ） (2024-09-26T09:56:13Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Annotation-Free Group Robustness via Loss-Based Resampling [3.355491272942994]
経験的リスク最小化による画像分類のためのニューラルネットワークのトレーニングは、予測のための因果的属性ではなく、突発的な属性に依存することに脆弱である。
トレーニングデータの小さな分割に対してERM事前学習モデルを評価することにより、データのグループ化を推測する。
水鳥とCelebAデータセットの様々なバージョンにおけるLFRの評価を行った。
論文 参考訳（メタデータ） (2023-12-08T08:22:02Z) - Bias Amplification Enhances Minority Group Performance [10.380812738348899]
本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。
第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。
第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
論文 参考訳（メタデータ） (2023-09-13T04:40:08Z) - Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。
グループDROフレームワークをQ-Diversityを提案して再構築する。
インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
論文 参考訳（メタデータ） (2023-05-20T07:02:27Z) - Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。
本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。
このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2022-08-26T12:34:55Z) - Correct-N-Contrast: A Contrastive Approach for Improving Robustness to
Spurious Correlations [59.24031936150582]
豪華な相関関係は、堅牢な機械学習にとって大きな課題となる。
経験的リスク最小化(ERM)で訓練されたモデルは、クラスラベルとスプリアス属性の相関に依存することを学習することができる。
CNC(Correct-N-Contrast, Correct-N-Contrast)を提案する。
論文 参考訳（メタデータ） (2022-03-03T05:03:28Z) - Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く
本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。
グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2022-01-10T22:04:48Z) - Just Train Twice: Improving Group Robustness without Training Group
Information [101.84574184298006]
経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。
群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。
本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
論文 参考訳（メタデータ） (2021-07-19T17:52:32Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-14T05:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。