論文の概要: Avoiding spurious correlations via logit correction

• arxiv url: http://arxiv.org/abs/2212.01433v1
• Date: Fri, 2 Dec 2022 20:30:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 15:01:57.086414
• Title: Avoiding spurious correlations via logit correction
• Title（参考訳）: ロジット補正によるスプリアス相関の回避
• Authors: Sheng Liu, Xu Zhang, Nitesh Sekhar, Yue Wu, Prateek Singhal, Carlos Fernandez-Granda
• Abstract要約: 実証的研究は、経験的リスクで訓練された機械学習モデルは、しばしばクラスラベルと突発的に相関する可能性のある属性に依存していることを示唆している。 本研究では,学習データの大部分に潜在的に急激な相関が存在する状況について考察する。 サンプルロジットを補正するために,ソフトマックスクロスエントロピー損失の簡易かつ効果的な改善であるロジット補正(LC)損失を提案する。
• 参考スコア（独自算出の注目度）: 21.261525854506743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical studies suggest that machine learning models trained with empirical risk minimization (ERM) often rely on attributes that may be spuriously correlated with the class labels. Such models typically lead to poor performance during inference for data lacking such correlations. In this work, we explicitly consider a situation where potential spurious correlations are present in the majority of training data. In contrast with existing approaches, which use the ERM model outputs to detect the samples without spurious correlations, and either heuristically upweighting or upsampling those samples; we propose the logit correction (LC) loss, a simple yet effective improvement on the softmax cross-entropy loss, to correct the sample logit. We demonstrate that minimizing the LC loss is equivalent to maximizing the group-balanced accuracy, so the proposed LC could mitigate the negative impacts of spurious correlations. Our extensive experimental results further reveal that the proposed LC loss outperforms the SoTA solutions on multiple popular benchmarks by a large margin, an average 5.5% absolute improvement, without access to spurious attribute labels. LC is also competitive with oracle methods that make use of the attribute labels. Code is available at https://github.com/shengliu66/LC.
• Abstract（参考訳）: 経験的リスク最小化(ERM)で訓練された機械学習モデルは、しばしばクラスラベルと突発的に相関する可能性のある属性に依存している。 このようなモデルは通常、そのような相関を欠いたデータの推論中に性能が低下する。 本研究では,学習データの大部分に潜在的に刺激的な相関が存在する状況について考察する。 従来の手法とは対照的に,ERMモデル出力を用いて試料を急激な相関関係なく検出し,加湿あるいはアップサンプル化を行う手法では,軟質マックスクロスエントロピー損失の簡易かつ効果的な改善であるロジット補正(LC)損失を提案し,試料ロジットの補正を行う。 LC損失の最小化はグループバランス精度の最大化と同等であり,提案したLCは相関関係の負の影響を軽減することができる。 広範な実験結果から,提案するlc損失はsoeソリューションを高いマージンで上回り,平均5.5%の絶対的改善率で上回り,スプリアス属性ラベルにアクセスできないことが判明した。 lcはまた、属性ラベルを使用するoracleメソッドと競合する。 コードはhttps://github.com/shengliu66/LCで入手できる。

関連論文リスト

• Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
  経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。 これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。 本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:17:44Z)
• Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection [82.43311784594384]
  実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。 不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-17T10:34:53Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Mixed Pseudo Labels for Semi-Supervised Object Detection [27.735659283870646]
  本稿では,擬似ラベルデータに対するMixupとMosaicを組み合わせたMixPLを提案する。 MixPLは、様々な検出器の性能を一貫して改善し、COCO-StandardおよびCOCO-Fullベンチマーク上で、より高速なR-CNN、FCOS、DINOによる新しい最先端結果を得る。
  論文  参考訳（メタデータ） (2023-12-12T06:35:27Z)
• Annotation-Free Group Robustness via Loss-Based Resampling [3.355491272942994]
  経験的リスク最小化による画像分類のためのニューラルネットワークのトレーニングは、予測のための因果的属性ではなく、突発的な属性に依存することに脆弱である。 トレーニングデータの小さな分割に対してERM事前学習モデルを評価することにより、データのグループ化を推測する。 水鳥とCelebAデータセットの様々なバージョンにおけるLFRの評価を行った。
  論文  参考訳（メタデータ） (2023-12-08T08:22:02Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Learning with Noisy Labels over Imbalanced Subpopulations [13.477553187049462]
  ノイズラベル(LNL)による学習は,研究コミュニティから大きな注目を集めている。 ノイズラベルと不均衡なサブポピュレーションを同時に扱う新しいLNL法を提案する。 試料のクリーンな確率を推定するために, 試料相関を考慮に入れた特徴量測定手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T07:25:24Z)
• Hierarchical Semi-Supervised Contrastive Learning for Contamination-Resistant Anomaly Detection [81.07346419422605]
  異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。 コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。 汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-24T18:49:26Z)
• Correct-N-Contrast: A Contrastive Approach for Improving Robustness to Spurious Correlations [59.24031936150582]
  豪華な相関関係は、堅牢な機械学習にとって大きな課題となる。 経験的リスク最小化(ERM)で訓練されたモデルは、クラスラベルとスプリアス属性の相関に依存することを学習することができる。 CNC(Correct-N-Contrast, Correct-N-Contrast)を提案する。
  論文  参考訳（メタデータ） (2022-03-03T05:03:28Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。