論文の概要: On Feature Learning in the Presence of Spurious Correlations

• arxiv url: http://arxiv.org/abs/2210.11369v1
• Date: Thu, 20 Oct 2022 16:10:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 13:20:09.826086
• Title: On Feature Learning in the Presence of Spurious Correlations
• Title（参考訳）: スプリアス相関の存在下での機能学習について
• Authors: Pavel Izmailov, Polina Kirichenko, Nate Gruver, Andrew Gordon Wilson
• Abstract要約: 得られた特徴表現の質は,提案手法以外の設計決定に大きく影響されていることを示す。 我々は,人気のウォーターバード,セレブの髪の色予測,WILDS-FMOW問題に関する文献で報告された最良の結果を大幅に改善した。
• 参考スコア（独自算出の注目度）: 45.86963293019703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep classifiers are known to rely on spurious features $\unicode{x2013}$ patterns which are correlated with the target on the training data but not inherently relevant to the learning problem, such as the image backgrounds when classifying the foregrounds. In this paper we evaluate the amount of information about the core (non-spurious) features that can be decoded from the representations learned by standard empirical risk minimization (ERM) and specialized group robustness training. Following recent work on Deep Feature Reweighting (DFR), we evaluate the feature representations by re-training the last layer of the model on a held-out set where the spurious correlation is broken. On multiple vision and NLP problems, we show that the features learned by simple ERM are highly competitive with the features learned by specialized group robustness methods targeted at reducing the effect of spurious correlations. Moreover, we show that the quality of learned feature representations is greatly affected by the design decisions beyond the training method, such as the model architecture and pre-training strategy. On the other hand, we find that strong regularization is not necessary for learning high quality feature representations. Finally, using insights from our analysis, we significantly improve upon the best results reported in the literature on the popular Waterbirds, CelebA hair color prediction and WILDS-FMOW problems, achieving 97%, 92% and 50% worst-group accuracies, respectively.
• Abstract（参考訳）: 深層分類器は、トレーニングデータ上のターゲットと相関するが、前景を分類する際の画像背景など学習問題に本質的に関連しない、急激な特徴である$\unicode{x2013}$パターンに依存することが知られている。 本稿では,標準経験的リスク最小化(erm)と特殊群ロバストネストレーニングによって得られた表現から復号化できるコア(非純正)機能に関する情報量を評価する。 近年のDeep Feature Reweighting (DFR) の研究に続いて, 突発的相関が壊れたホールドアウトセット上で, モデルの最後の層を再学習することで特徴表現を評価する。 複数の視覚問題とnlp問題について,単純ermによって学習された特徴は,スプリアス相関の効果低減を目的とした特殊群ロバストネス法で学習された特徴と高い競合性を示す。 さらに,学習した特徴表現の品質は,モデルアーキテクチャや事前学習戦略など,トレーニング方法を超えた設計決定に大きく影響していることを示す。 一方,高品質な特徴表現の学習には強正則化は不要であることがわかった。 最後に,本分析から得られた知見を用いて,人気のウォーターバード,CelebAヘアカラー予測,WILDS-FMOW問題に関する文献において,それぞれ97%,92%,50%の最悪群アキュラシーを達成した。

関連論文リスト

• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• TDCGL: Two-Level Debiased Contrastive Graph Learning for Recommendation [1.5836776102398225]
  実世界におけるKGの実体の長期分布とノイズ問題により、アイテム・エンティリティ依存関係は真の特性を反映しない。 我々はTDCL(Two-Level Debiased Contrastive Learning)を設計し、知識グラフに展開する。 オープンソースデータセットに関する検討実験により,提案手法は優れたアンチノイズ性能を有することが示された。
  論文  参考訳（メタデータ） (2023-10-01T03:56:38Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Task-Agnostic Robust Representation Learning [31.818269301504564]
  本研究では,未ラベルデータを用いた頑健な表現学習の課題をタスクに依存しない方法で検討する。 我々は、その損失をクリーンデータとロバストネス正則化器を用いて、下流タスクにおける予測モデルの逆方向の損失に上限を導出する。 本手法は,関係するベースラインと比較して,好適な対向性能を実現する。
  論文  参考訳（メタデータ） (2022-03-15T02:05:11Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。