論文の概要: Out of spuriousity: Improving robustness to spurious correlations without group annotations
- arxiv url: http://arxiv.org/abs/2407.14974v1
- Date: Sat, 20 Jul 2024 20:24:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-23 19:48:22.028950
- Title: Out of spuriousity: Improving robustness to spurious correlations without group annotations
- Title（参考訳）: 突発性外部:グループアノテーションなしでの突発性相関による堅牢性向上
- Authors: Phuong Quynh Le, Jörg Schlötterer, Christin Seifert,
- Abstract要約: 本稿では,突発的相関に依存しない完全トレーニングネットワークからサブネットワークを抽出する手法を提案する。
提案手法の最悪のグループ性能の増加は、完全に訓練された高密度ネットワークにサブネットワークが存在するという仮説の強化に寄与する。
- 参考スコア（独自算出の注目度）: 2.592470112714595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models are known to learn spurious correlations, i.e., features having strong relations with class labels but no causal relation. Relying on those correlations leads to poor performance in the data groups without these correlations and poor generalization ability. To improve the robustness of machine learning models to spurious correlations, we propose an approach to extract a subnetwork from a fully trained network that does not rely on spurious correlations. The subnetwork is found by the assumption that data points with the same spurious attribute will be close to each other in the representation space when training with ERM, then we employ supervised contrastive loss in a novel way to force models to unlearn the spurious connections. The increase in the worst-group performance of our approach contributes to strengthening the hypothesis that there exists a subnetwork in a fully trained dense network that is responsible for using only invariant features in classification tasks, therefore erasing the influence of spurious features even in the setup of multi spurious attributes and no prior knowledge of attributes labels.
- Abstract（参考訳）: 機械学習モデルは、急激な相関、すなわち、クラスラベルと強い関係を持つが因果関係を持たない特徴を学習することが知られている。
これらの相関を考慮すれば、これらの相関や一般化能力の欠如なしに、データグループの性能が低下する。
機械学習モデルのロバスト性を改善するために,スプリアス相関に依存しない完全に訓練されたネットワークからサブネットワークを抽出する手法を提案する。
サブネットワークは,ERMを用いたトレーニングにおいて,同じスプリアス特性を持つデータポイントが表現空間において互いに近接しているという仮定により,新しい方法で教師付きコントラスト損失を用いて,スプリアス接続を開放する。
提案手法の最悪のグループ性能の増大は, 分類タスクにおける不変特徴のみを使用する責任を負う, 完全訓練された高密度ネットワークにサブネットワークが存在するという仮説の強化に寄与する。
関連論文リスト
- Towards Robust Text Classification: Mitigating Spurious Correlations with Causal Learning [2.7813683000222653]
本稿では,因果関係へのモデル依存を軽減するために,因果相関ロバスト (CCR) を提案する。
CCRは、逆確率重み付け(IPW)損失関数とともに、反ファクト推論に基づく因果的特徴選択法を統合する。
グループラベルを持たないメソッド間でのCCRの最先端性能を示し、場合によってはグループラベルを利用するモデルと競合する。
論文 参考訳（メタデータ） (2024-11-01T21:29:07Z) - Spuriousness-Aware Meta-Learning for Learning Robust Classifiers [26.544938760265136]
Spurious correlations is brittle associations between certain attribute of inputs and target variables。
深部画像分類器はしばしばそれらを予測に利用し、相関が持たないデータの一般化が不十分になる。
スプリアス相関の影響を緩和することはロバストなモデル一般化に不可欠であるが、しばしばデータ内のスプリアス相関のアノテーションを必要とする。
論文 参考訳（メタデータ） (2024-06-15T21:41:25Z) - Learning Robust Classifiers with Self-Guided Spurious Correlation Mitigation [26.544938760265136]
ディープニューラル分類器は、入力のスプリアス属性とターゲットの間のスプリアス相関に頼り、予測を行う。
本稿では,自己誘導型スプリアス相関緩和フレームワークを提案する。
予測行動の違いを識別するために分類器の訓練を行うことで,事前知識を必要とせず,素因関係への依存を軽減できることを示す。
論文 参考訳（メタデータ） (2024-05-06T17:12:21Z) - Unsupervised Concept Discovery Mitigates Spurious Correlations [45.48778210340187]
トレーニングデータにおける急激な相関関係のモデルはしばしば脆い予測を発生させ、意図しないバイアスを導入する。
本稿では,教師なし対象中心学習と突発的相関の緩和の新たな関連性を確立する。
コバルト(CoBalT)は、サブグループの人間のラベル付けを必要とせず、効果的に素早い相関を緩和する概念バランス技術である。
論文 参考訳（メタデータ） (2024-02-20T20:48:00Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Stubborn Lexical Bias in Data and Models [50.79738900885665]
我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。
トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。
驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
論文 参考訳（メタデータ） (2023-06-03T20:12:27Z) - Understanding and Mitigating Spurious Correlations in Text
Classification with Neighborhood Analysis [69.07674653828565]
機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。
本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。
本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
論文 参考訳（メタデータ） (2023-05-23T03:55:50Z) - Semi-Supervised Clustering with Inaccurate Pairwise Annotations [3.7384509727711923]
本論文では,マストリンクと非リンク関係という形で,ペアワイズアノテーションを組み込んだクラスタリングモデルを提案する。
また,そのモデルを拡張して,専門家の正確性に関する事前知識を統合し,この知識の利用が有益である状況について議論する。
論文 参考訳（メタデータ） (2021-04-05T20:37:00Z) - Decorrelated Clustering with Data Selection Bias [55.91842043124102]
本稿では,データ選択バイアスを伴うクラスタリングのためのデコリレーション正規化K-Meansアルゴリズム(DCKM)を提案する。
DCKMアルゴリズムは,選択バイアスによって生じる予期せぬ特徴相関を除去する必要があることを示す。
論文 参考訳（メタデータ） (2020-06-29T08:55:50Z) - Learning Causal Models Online [103.87959747047158]
予測モデルは、予測を行うためにデータの急激な相関に依存することができる。
強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。
本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-12T20:49:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。