論文の概要: Is Last Layer Re-Training Truly Sufficient for Robustness to Spurious Correlations?

• arxiv url: http://arxiv.org/abs/2308.00473v1
• Date: Tue, 1 Aug 2023 11:54:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 14:22:40.780953
• Title: Is Last Layer Re-Training Truly Sufficient for Robustness to Spurious Correlations?
• Title（参考訳）: 最終層再評価は, 相関関係のロバスト性に十分か?
• Authors: Phuong Quynh Le, J\"org Schl\"otterer and Christin Seifert
• Abstract要約: 経験的リスク最小化(ERM)で訓練されたモデルは、刺激的な特徴、すなわち彼らの予測は望ましくない補助的な特徴に基づいている。 最近提案されたDeep Feature Reweighting (DFR) 法は、これらの最悪のグループの精度を向上させる。 本研究では,DFRの医療領域における現実的データへの適用性について検討する。
• 参考スコア（独自算出の注目度）: 2.793095554369282
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models trained with empirical risk minimization (ERM) are known to learn to rely on spurious features, i.e., their prediction is based on undesired auxiliary features which are strongly correlated with class labels but lack causal reasoning. This behavior particularly degrades accuracy in groups of samples of the correlated class that are missing the spurious feature or samples of the opposite class but with the spurious feature present. The recently proposed Deep Feature Reweighting (DFR) method improves accuracy of these worst groups. Based on the main argument that ERM mods can learn core features sufficiently well, DFR only needs to retrain the last layer of the classification model with a small group-balanced data set. In this work, we examine the applicability of DFR to realistic data in the medical domain. Furthermore, we investigate the reasoning behind the effectiveness of last-layer retraining and show that even though DFR has the potential to improve the accuracy of the worst group, it remains susceptible to spurious correlations.
• Abstract（参考訳）: 経験的リスク最小化(experience risk minimization, erm)でトレーニングされたモデルは、スプリアスな特徴、すなわち、それらの予測は、クラスラベルと強く相関するが因果的推論を欠く、望ましくない補助的特徴に基づいていることが知られている。 この振る舞いは、特に、反対のクラスのスプリアス特徴やスプリアス特徴を欠いているが、スプリアス特徴がある相関クラスのサンプル群の精度を低下させる。 最近提案されたDeep Feature Reweighting (DFR)法は、これらの最悪のグループの精度を向上させる。 ERMモードがコア機能を十分に学習できるという主論に基づいて、DFRは分類モデルの最後の層を小さなグループバランスのデータセットで再訓練するのみである。 本研究では,DFRの医療領域における現実的データへの適用性について検討する。 さらに, 最終層再トレーニングの有効性の背景を考察し, DFRは, 最悪の集団の精度を向上する可能性を秘めているものの, 急激な相関関係が生じる可能性が示唆された。

関連論文リスト

• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Annotation-Free Group Robustness via Loss-Based Resampling [3.355491272942994]
  経験的リスク最小化による画像分類のためのニューラルネットワークのトレーニングは、予測のための因果的属性ではなく、突発的な属性に依存することに脆弱である。 トレーニングデータの小さな分割に対してERM事前学習モデルを評価することにより、データのグループ化を推測する。 水鳥とCelebAデータセットの様々なバージョンにおけるLFRの評価を行った。
  論文  参考訳（メタデータ） (2023-12-08T08:22:02Z)
• Towards Last-layer Retraining for Group Robustness with Fewer Annotations [11.650659637480112]
  ニューラルネットワークの経験的リスク最小化(ERM)は、急激な相関に過度に依存する傾向がある。 最近のDeep Feature Reweighting技術は、単純な最終層再トレーニングによって最先端のグループロバスト性を実現する。 重み付けデータセットが最低群データのごく一部しか持たない場合でも、最終層再トレーニングは最悪のグループ精度を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-09-15T16:52:29Z)
• Dual Compensation Residual Networks for Class Imbalanced Learning [98.35401757647749]
  そこで本研究では,尾と頭の両方に適合する2次元補償残差ネットワークを提案する。 オーバーフィッティングを引き起こす重要な要因は、トレーニングとテールクラスのテストデータの間に深刻な特徴ドリフトがあることである。 また,不適合問題を軽減するためにResidual Balanced Multi-Proxies分類器を提案する。
  論文  参考訳（メタデータ） (2023-08-25T04:06:30Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Ranking & Reweighting Improves Group Distributional Robustness [14.021069321266516]
  本研究では,DRU(Discounted Rank Upweighting)と呼ばれるランキングベースのトレーニング手法を提案し,テストデータ上で強力なOOD性能を示すモデルを学習する。 いくつかの合成および実世界のデータセットの結果は、群分布シフトに頑健なモデルの選択と学習において、グループレベルの(ソフトミニマックスと異なり)アプローチの優れた能力を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-05-09T20:37:16Z)
• Chasing Fairness Under Distribution Shift: A Model Weight Perturbation Approach [72.19525160912943]
  まず,分布シフト,データ摂動,モデルウェイト摂動の関連性を理論的に検証した。 次に、ターゲットデータセットの公平性を保証するのに十分な条件を分析します。 これらの十分な条件により、ロバストフェアネス正則化(RFR)を提案する。
  論文  参考訳（メタデータ） (2023-03-06T17:19:23Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Constrained Optimization for Training Deep Neural Networks Under Class Imbalance [9.557146081524008]
  ROC曲線の下で最大領域を強制するために、既存の損失関数で使用できる新しい制約を紹介します。 CIFAR10と社内医療画像データセットを用いた画像分類アプリケーションの実験結果を提示する。
  論文  参考訳（メタデータ） (2021-02-21T09:49:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。