論文の概要: When Does Group Invariant Learning Survive Spurious Correlations?

• arxiv url: http://arxiv.org/abs/2206.14534v1
• Date: Wed, 29 Jun 2022 11:16:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 19:37:32.708371
• Title: When Does Group Invariant Learning Survive Spurious Correlations?
• Title（参考訳）: 集団不変学習はいつ純粋相関を救えるか?
• Authors: Yimeng Chen, Ruibin Xiong, Zhiming Ma, Yanyan Lan
• Abstract要約: 本稿では,既存のグループ不変学習手法が不十分であることを明らかにする。 そのような十分性を判断するための2つの基準を提案する。 既存の手法が両者の基準に反しうることを示し、その結果、相関の急激なシフトを一般化できないことを示す。 そこで我々は,統計的独立性試験を用いたグループ構築を行うグループ不変学習手法を考案した。
• 参考スコア（独自算出の注目度）: 29.750875769713513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By inferring latent groups in the training data, recent works introduce invariant learning to the case where environment annotations are unavailable. Typically, learning group invariance under a majority/minority split is empirically shown to be effective in improving out-of-distribution generalization on many datasets. However, theoretical guarantee for these methods on learning invariant mechanisms is lacking. In this paper, we reveal the insufficiency of existing group invariant learning methods in preventing classifiers from depending on spurious correlations in the training set. Specifically, we propose two criteria on judging such sufficiency. Theoretically and empirically, we show that existing methods can violate both criteria and thus fail in generalizing to spurious correlation shifts. Motivated by this, we design a new group invariant learning method, which constructs groups with statistical independence tests, and reweights samples by group label proportion to meet the criteria. Experiments on both synthetic and real data demonstrate that the new method significantly outperforms existing group invariant learning methods in generalizing to spurious correlation shifts.
• Abstract（参考訳）: 学習データの潜在群を推定することにより、環境アノテーションが利用できない場合に不変学習を導入する。 通常、多数派/少数派分割の下での学習グループ不変性は、多くのデータセットにおける分散の一般化を改善するのに効果的であることが実証的に示されている。 しかし、これらの方法の不変機構の学習に関する理論的保証は欠如している。 本稿では,既存のグループ不変学習法では,学習セットにおけるスプリアス相関に依存する分類器を防止できないことを明らかにする。 具体的には,その妥当性を判断するための2つの基準を提案する。 理論的および実証的に、既存の手法は両方の基準に違反する可能性があり、従って散発的な相関シフトの一般化に失敗することを示した。 そこで我々は,統計的独立性テストを持つグループを構成するグループ不変学習手法を考案し,その基準を満たすためにグループラベル比でサンプルを再重み付けする。 合成データと実データの両方の実験により、この新手法は既存のグループ不変学習法を著しく上回り、相関の急激なシフトを一般化することを示した。

関連論文リスト

• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• Learning with Complementary Labels Revisited: The Selected-Completely-at-Random Setting Is More Practical [66.57396042747706]
  補完ラベル学習は、弱教師付き学習問題である。 均一分布仮定に依存しない一貫したアプローチを提案する。 相補的なラベル学習は、負のラベル付きバイナリ分類問題の集合として表現できる。
  論文  参考訳（メタデータ） (2023-11-27T02:59:17Z)
• On The Impact of Machine Learning Randomness on Group Fairness [11.747264308336012]
  ニューラルネットワークのトレーニングにおけるランダム性の異なる源の群フェアネスへの影響について検討する。 グループフェアネス尺度のばらつきは、非表現群における学習過程の高ボラティリティに根ざしていることを示す。 一つのエポックに対してデータ順序を変更するだけで、モデル全体の性能に高い効率と無視可能な影響でグループレベルの精度を制御できることを示す。
  論文  参考訳（メタデータ） (2023-07-09T09:36:31Z)
• Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
  オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。 本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:07:15Z)
• Leveraging Structure for Improved Classification of Grouped Biased Data [8.121462458089143]
  データポイントが自然にグループ化されるアプリケーションに対する半教師付きバイナリ分類を検討する。 我々は、この構造を明示的に活用し、最適、グループ対応、確率出力の分類器を学習する半教師付きアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-12-07T15:18:21Z)
• Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
  既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-13T06:04:43Z)
• Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
  本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。 提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T10:49:49Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Heterogeneous Risk Minimization [25.5458915855661]
  分散一般化のための不変学習法は、複数の学習環境を利用して不変関係を見つけることによって提案されている。 現代のデータセットは、明示的なソースラベルなしで複数のソースからのデータをマージすることで組み立てられる。 不均一リスク最小化(HRM: Heterogeneous Risk Minimization)フレームワークを提案し、データと不変関係間の潜在不均質性の共同学習を実現する。
  論文  参考訳（メタデータ） (2021-05-09T02:51:36Z)
• Neural Networks for Learning Counterfactual G-Invariances from Single Environments [13.848760376470038]
  ニューラルネットワークは、トレーニングデータ分布を超えて外挿する困難があると考えられています。 この研究は、有限変換群に基づく外挿に対して、モデルが外挿できないことは、その能力とは無関係であることを示す。
  論文  参考訳（メタデータ） (2021-04-20T16:35:35Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。