論文の概要: Elastic Representation: Mitigating Spurious Correlations for Group Robustness

• arxiv url: http://arxiv.org/abs/2502.09850v1
• Date: Fri, 14 Feb 2025 01:25:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:45:07.048539
• Title: Elastic Representation: Mitigating Spurious Correlations for Group Robustness
• Title（参考訳）: 弾性表現:群ロバスト性に対する純粋相関の緩和
• Authors: Tao Wen, Zihan Wang, Quan Zhang, Qi Lei,
• Abstract要約: ディープラーニングモデルは、入力特徴とラベルの急激な相関に依存する場合、深刻なパフォーマンス劣化に悩まされる可能性がある。 ニューラルネットワークの最後の層からの表現に対して,核とフロベニウスの法則を課すことで特徴を学習するための弾性表現(ElRep)を提案する。
• 参考スコア（独自算出の注目度）: 24.087096334524077
• License:
• Abstract: Deep learning models can suffer from severe performance degradation when relying on spurious correlations between input features and labels, making the models perform well on training data but have poor prediction accuracy for minority groups. This problem arises especially when training data are limited or imbalanced. While most prior work focuses on learning invariant features (with consistent correlations to y), it overlooks the potential harm of spurious correlations between features. We hereby propose Elastic Representation (ElRep) to learn features by imposing Nuclear- and Frobenius-norm penalties on the representation from the last layer of a neural network. Similar to the elastic net, ElRep enjoys the benefits of learning important features without losing feature diversity. The proposed method is simple yet effective. It can be integrated into many deep learning approaches to mitigate spurious correlations and improve group robustness. Moreover, we theoretically show that ElRep has minimum negative impacts on in-distribution predictions. This is a remarkable advantage over approaches that prioritize minority groups at the cost of overall performance.
• Abstract（参考訳）: 深層学習モデルは、入力特徴とラベルの急激な相関に依存する場合、厳しい性能劣化に悩まされる可能性がある。 この問題は、特にトレーニングデータに制限や不均衡がある場合に発生する。 これまでのほとんどの研究は不変な特徴(yと一貫した相関関係を持つ)の学習に重点を置いていたが、特徴間の急激な相関の潜在的な害を見落としている。 本稿では,ニューラルネットワークの最後の層からの表現に対して,Nuclear-およびFrobenius-normの刑罰を課すことで特徴を学習するElastic Representation(ElRep)を提案する。 エラスティックネットと同様に、ElRepは、機能の多様性を失うことなく重要な機能を学ぶ利点を享受している。 提案手法は単純だが有効である。 急激な相関を緩和し、グループロバスト性を改善するために、多くのディープラーニングアプローチに統合することができる。 さらに、理論上、ElRepは分布内予測に最小限の負の影響を持つことを示す。 これは、パフォーマンス全体の犠牲で少数派グループを優先するアプローチに対して、顕著な優位性である。

関連論文リスト

• Out of spuriousity: Improving robustness to spurious correlations without group annotations [2.592470112714595]
  本稿では,突発的相関に依存しない完全トレーニングネットワークからサブネットワークを抽出する手法を提案する。 提案手法の最悪のグループ性能の増加は、完全に訓練された高密度ネットワークにサブネットワークが存在するという仮説の強化に寄与する。
  論文  参考訳（メタデータ） (2024-07-20T20:24:14Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Identifying Spurious Biases Early in Training through the Lens of Simplicity Bias [25.559684790787866]
  訓練の初期にモデルの出力に基づいて,スプリアス機能のある例が確実に分離可能であることを示す。 SPAREは,訓練の初期段階において,素早い相関関係を同定し,その効果を緩和するために重要サンプリングを利用する。
  論文  参考訳（メタデータ） (2023-05-30T05:51:36Z)
• Inducing Neural Collapse in Deep Long-tailed Learning [13.242721780822848]
  クラス不均衡データの高品質な表現を学習するための2つの明示的な特徴正規化項を提案する。 提案された正規化により、ニューラル崩壊現象はクラス不均衡分布の下に現れる。 本手法は, 実装が容易で, 有効であり, 既存のほとんどの方法に組み込むことができる。
  論文  参考訳（メタデータ） (2023-02-24T05:07:05Z)
• On Feature Learning in the Presence of Spurious Correlations [45.86963293019703]
  得られた特徴表現の質は,提案手法以外の設計決定に大きく影響されていることを示す。 我々は,人気のウォーターバード,セレブの髪の色予測,WILDS-FMOW問題に関する文献で報告された最良の結果を大幅に改善した。
  論文  参考訳（メタデータ） (2022-10-20T16:10:28Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial Estimation [109.11580756757611]
  メンバー間の多様性のおかげで、ディープアンサンブルは単一のネットワークよりもパフォーマンスが良い。 最近のアプローチでは、多様性を高めるための予測を規則化していますが、個々のメンバーのパフォーマンスも大幅に減少します。 DICEと呼ばれる新しいトレーニング基準を導入し、特徴間の素早い相関を減らして多様性を高める。
  論文  参考訳（メタデータ） (2021-01-14T10:53:26Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。