論文の概要: On Feature Learning in the Presence of Spurious Correlations

• arxiv url: http://arxiv.org/abs/2210.11369v1
• Date: Thu, 20 Oct 2022 16:10:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 13:20:09.826086
• Title: On Feature Learning in the Presence of Spurious Correlations
• Title（参考訳）: スプリアス相関の存在下での機能学習について
• Authors: Pavel Izmailov, Polina Kirichenko, Nate Gruver, Andrew Gordon Wilson
• Abstract要約: 得られた特徴表現の質は,提案手法以外の設計決定に大きく影響されていることを示す。 我々は,人気のウォーターバード,セレブの髪の色予測,WILDS-FMOW問題に関する文献で報告された最良の結果を大幅に改善した。
• 参考スコア（独自算出の注目度）: 45.86963293019703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep classifiers are known to rely on spurious features $\unicode{x2013}$ patterns which are correlated with the target on the training data but not inherently relevant to the learning problem, such as the image backgrounds when classifying the foregrounds. In this paper we evaluate the amount of information about the core (non-spurious) features that can be decoded from the representations learned by standard empirical risk minimization (ERM) and specialized group robustness training. Following recent work on Deep Feature Reweighting (DFR), we evaluate the feature representations by re-training the last layer of the model on a held-out set where the spurious correlation is broken. On multiple vision and NLP problems, we show that the features learned by simple ERM are highly competitive with the features learned by specialized group robustness methods targeted at reducing the effect of spurious correlations. Moreover, we show that the quality of learned feature representations is greatly affected by the design decisions beyond the training method, such as the model architecture and pre-training strategy. On the other hand, we find that strong regularization is not necessary for learning high quality feature representations. Finally, using insights from our analysis, we significantly improve upon the best results reported in the literature on the popular Waterbirds, CelebA hair color prediction and WILDS-FMOW problems, achieving 97%, 92% and 50% worst-group accuracies, respectively.
• Abstract（参考訳）: 深層分類器は、トレーニングデータ上のターゲットと相関するが、前景を分類する際の画像背景など学習問題に本質的に関連しない、急激な特徴である$\unicode{x2013}$パターンに依存することが知られている。 本稿では,標準経験的リスク最小化(erm)と特殊群ロバストネストレーニングによって得られた表現から復号化できるコア(非純正)機能に関する情報量を評価する。 近年のDeep Feature Reweighting (DFR) の研究に続いて, 突発的相関が壊れたホールドアウトセット上で, モデルの最後の層を再学習することで特徴表現を評価する。 複数の視覚問題とnlp問題について,単純ermによって学習された特徴は,スプリアス相関の効果低減を目的とした特殊群ロバストネス法で学習された特徴と高い競合性を示す。 さらに,学習した特徴表現の品質は,モデルアーキテクチャや事前学習戦略など,トレーニング方法を超えた設計決定に大きく影響していることを示す。 一方,高品質な特徴表現の学習には強正則化は不要であることがわかった。 最後に,本分析から得られた知見を用いて,人気のウォーターバード,CelebAヘアカラー予測,WILDS-FMOW問題に関する文献において,それぞれ97%,92%,50%の最悪群アキュラシーを達成した。

関連論文リスト

• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• Granularity Matters in Long-Tail Learning [62.30734737735273]
  より粒度の細かいデータセットは、データの不均衡の影響を受けにくい傾向があります。 既存のクラスと視覚的に類似したオープンセット補助クラスを導入し、頭と尾の両方の表現学習を強化することを目的とした。 補助授業の圧倒的な存在がトレーニングを混乱させるのを防ぐために,近隣のサイレンシング障害を導入する。
  論文  参考訳（メタデータ） (2024-10-21T13:06:21Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。