論文の概要: Improving Group Robustness on Spurious Correlation Requires Preciser Group Inference

• arxiv url: http://arxiv.org/abs/2404.13815v2
• Date: Tue, 4 Jun 2024 02:25:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 11:37:14.970031
• Title: Improving Group Robustness on Spurious Correlation Requires Preciser Group Inference
• Title（参考訳）: 簡潔な相関に対する群ロバスト性の改善には精密な群推論が必要である
• Authors: Yujin Han, Difan Zou,
• Abstract要約: 標準経験的リスク(ERM)モデルは、スプリアス特徴と真のラベルの間の学習の急激な相関を優先し、これらの相関が持たないグループでは精度が低下する可能性がある。 GICは,グループラベルを正確に推測する手法であり,グループ性能が向上する。
• 参考スコア（独自算出の注目度）: 15.874604623294427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard empirical risk minimization (ERM) models may prioritize learning spurious correlations between spurious features and true labels, leading to poor accuracy on groups where these correlations do not hold. Mitigating this issue often requires expensive spurious attribute (group) labels or relies on trained ERM models to infer group labels when group information is unavailable. However, the significant performance gap in worst-group accuracy between using pseudo group labels and using oracle group labels inspires us to consider further improving group robustness through preciser group inference. Therefore, we propose GIC, a novel method that accurately infers group labels, resulting in improved worst-group performance. GIC trains a spurious attribute classifier based on two key properties of spurious correlations: (1) high correlation between spurious attributes and true labels, and (2) variability in this correlation between datasets with different group distributions. Empirical studies on multiple datasets demonstrate the effectiveness of GIC in inferring group labels, and combining GIC with various downstream invariant learning methods improves worst-group accuracy, showcasing its powerful flexibility. Additionally, through analyzing the misclassifications in GIC, we identify an interesting phenomenon called semantic consistency, which may contribute to better decoupling the association between spurious attributes and labels, thereby mitigating spurious correlation. The code for GIC is available at https://github.com/yujinhanml/GIC.
• Abstract（参考訳）: 標準経験的リスク最小化(ERM)モデルは、スプリアス特徴と真のラベルの間の学習の急激な相関を優先し、これらの相関が持たないグループでは精度が低下する可能性がある。 この問題を緩和するには、しばしば高価なスプリアス属性(グループ)ラベルを必要とするか、あるいはグループ情報が利用できない場合にグループラベルを推測するために訓練されたEMMモデルに依存する。 しかし, 擬似グループラベルの使用とオラクルグループラベルの使用との間には, 最悪のグループ精度の差が顕著であり, 精度の高いグループ推論によるグループロバスト性の向上が期待できる。 そこで本研究では,グループラベルを正確に推測する新しい手法であるGICを提案する。 GICはスプリアス相関の2つの重要な特性に基づいてスプリアス属性分類器を訓練し、(1)スプリアス属性と真のラベルの高相関と(2)群分布の異なるデータセット間の相関のばらつきについて検討した。 複数のデータセットに関する実証的研究は、グループラベルの推論におけるGICの有効性を示し、GICと様々な下流不変学習手法を組み合わせることにより、最悪のグループ精度が向上し、その強力な柔軟性が示される。 さらに, GICの誤分類を解析することにより, セマンティック一貫性という興味深い現象を同定し, 突発的属性とラベルの関連性をよりよく分離し, 突発的相関を緩和する。 GICのコードはhttps://github.com/yujinhanml/GICで公開されている。

関連論文リスト

• AGRO: Adversarial Discovery of Error-prone groups for Robust Optimization [109.91265884632239]
  群分散ロバスト最適化(G-DRO)は、トレーニングデータに対する事前定義されたグループのセットに対する最悪の損失を最小限にすることができる。 本稿では、分散ロバスト最適化のためのAGRO -- Adversarial Group Discoveryを提案する。 AGROは、既知の最悪のグループの平均モデルパフォーマンスを8%向上させる。
  論文  参考訳（メタデータ） (2022-12-02T00:57:03Z)
• Group is better than individual: Exploiting Label Topologies and Label Relations for Joint Multiple Intent Detection and Slot Filling [39.76268402567324]
  我々は2種類のトポロジーを含む異種ラベルグラフ(HLG)を構築した。 ラベル相関を利用してセマンティック・ラベルの相互作用を強化する。 また,ラベルに依存しないデコード機構を提案し,デコードのためのラベル相関をさらに活用する。
  論文  参考訳（メタデータ） (2022-10-19T08:21:43Z)
• Take One Gram of Neural Features, Get Enhanced Group Robustness [23.541213868620837]
  経験的リスク最小化で訓練された機械学習モデルの予測性能は、分散シフト下で大幅に低下する可能性がある。 本稿では,識別モデルの抽出した特徴の文法行列に基づいて,トレーニングデータセットをグループに分割する。 このアプローチは、ERMに対するグループロバスト性を向上するだけでなく、最近のすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-08-26T12:34:55Z)
• Correct-N-Contrast: A Contrastive Approach for Improving Robustness to Spurious Correlations [59.24031936150582]
  豪華な相関関係は、堅牢な機械学習にとって大きな課題となる。 経験的リスク最小化(ERM)で訓練されたモデルは、クラスラベルとスプリアス属性の相関に依存することを学習することができる。 CNC(Correct-N-Contrast, Correct-N-Contrast)を提案する。
  論文  参考訳（メタデータ） (2022-03-03T05:03:28Z)
• Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
  入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く 本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。 グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:04:48Z)
• Just Train Twice: Improving Group Robustness without Training Group Information [101.84574184298006]
  経験的リスク最小化による標準トレーニングは、特定のグループにおける平均的かつ低い精度で高い精度を達成するモデルを生成することができる。 群分布的ロバストな最適化 (group DRO) のような、最悪のグループ精度を達成する以前のアプローチでは、トレーニングポイントごとに高価なグループアノテーションが必要である。 本稿では,複数のエポックに対して標準的なERMモデルを訓練し,第1モデルが誤分類したトレーニング例を重み付けする第2モデルを訓練する,単純な2段階のアプローチであるJTTを提案する。
  論文  参考訳（メタデータ） (2021-07-19T17:52:32Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Group-aware Label Transfer for Domain Adaptive Person Re-identification [179.816105255584]
  Unsupervised Adaptive Domain (UDA) Person Re-identification (ReID) は、ラベル付きソースドメインデータセットで訓練されたモデルを、さらなるアノテーションなしでターゲットドメインデータセットに適応することを目的としている。 最も成功したUDA-ReIDアプローチは、クラスタリングに基づく擬似ラベル予測と表現学習を組み合わせて、2つのステップを交互に実行する。 疑似ラベル予測と表現学習のオンラインインタラクションと相互促進を可能にするグループ認識ラベル転送(GLT)アルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-23T07:57:39Z)
• Evolving Multi-label Classification Rules by Exploiting High-order Label Correlation [2.9822184411723645]
  マルチラベル分類タスクでは、各問題インスタンスは同時に複数のクラスに関連付けられている。 ラベル間の相関は、ペアワイズ相関の取得や高次相関の活用など、様々なレベルで利用することができる。 本稿では,教師付き学習分類器システムを用いて,ラベルのサブセット内での高次ラベル相関を利用することを目的とする。
  論文  参考訳（メタデータ） (2020-07-22T18:13:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。