論文の概要: Spuriosity Rankings: Sorting Data for Spurious Correlation Robustness

• arxiv url: http://arxiv.org/abs/2212.02648v1
• Date: Mon, 5 Dec 2022 23:15:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 15:29:21.399045
• Title: Spuriosity Rankings: Sorting Data for Spurious Correlation Robustness
• Title（参考訳）: spuriosity rankings: スプリアス相関ロバスト性のためのソートデータ
• Authors: Mazda Moayeri, Wenxiao Wang, Sahil Singla, Soheil Feizi
• Abstract要約: 本稿では,これらのクラス内の画像のランク付けのためのフレームワークを提案する。 最上位画像と最下位画像の精度のギャップを計測することにより,イメージネットの多種多様なモデルに対して,突発的な特徴の信頼度を評価する。 突発的相関問題のクラス依存性を強調することにより, 突発的相関の影響はクラスによってはるかに大きく変化する。
• 参考スコア（独自算出の注目度）: 48.824380621522685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a framework for ranking images within their class based on the strength of spurious cues present. By measuring the gap in accuracy on the highest and lowest ranked images (we call this spurious gap), we assess spurious feature reliance for $89$ diverse ImageNet models, finding that even the best models underperform in images with weak spurious presence. However, the effect of spurious cues varies far more dramatically across classes, emphasizing the crucial, often overlooked, class-dependence of the spurious correlation problem. While most spurious features we observe are clarifying (i.e. improving test-time accuracy when present, as is typically expected), we surprisingly find many cases of confusing spurious features, where models perform better when they are absent. We then close the spurious gap by training new classification heads on lowly ranked (i.e. without common spurious cues) images, resulting in improved effective robustness to distribution shifts (ObjectNet, ImageNet-R, ImageNet-Sketch). We also propose a second metric to assess feature reliability, finding that spurious features are generally less reliable than non-spurious (core) ones, though again, spurious features can be more reliable for certain classes. To enable our analysis, we annotated $5,000$ feature-class dependencies over {\it all} of ImageNet as core or spurious using minimal human supervision. Finally, we show the feature discovery and spuriosity ranking framework can be extended to other datasets like CelebA and WaterBirds in a lightweight fashion with only linear layer training, leading to discovering a previously unknown racial bias in the Celeb-A hair classification.
• Abstract（参考訳）: 本稿では,これらのクラス内の画像のランク付けのためのフレームワークを提案する。 最上位画像と最下位画像の精度のギャップを計測することで(これをスムーズなギャップと呼ぶ)、さまざまなImageNetモデルに対するスムーズな機能依存度を評価し、スムーズな存在感の弱い画像において最高のモデルでさえパフォーマンスが低いことを発見した。 しかしながら、スプリアスキューの効果はクラスによって劇的に異なり、スプリアス相関問題の重要な、しばしば見過ごされるクラス依存を強調する。 私たちが観察するほとんどの突発的機能は明確化されていますが(つまり、通常予想されるように、現在のテスト時の正確性を改善すること)、驚くほど多くの混乱した突発的特徴があり、そこではモデルが欠如している時により良く機能します。 次に、低ランク画像(すなわち、一般的なスプリアス手がかりのない画像)に新しい分類ヘッドをトレーニングすることで、スプリアスギャップを閉じ、分散シフト(ObjectNet, ImageNet-R, ImageNet-Sketch)に対する効果的なロバスト性を改善する。 また、機能信頼性を評価する第2の指標を提案し、スプリアス機能は一般的に非スプリア(コア)機能よりも信頼性が低いことを発見したが、スプリアス機能は特定のクラスに対してより信頼性が高い。 分析を可能にするため、最小限の人的監督によって、ImageNetのコアまたはスパイラルとして5,000ドルの機能クラスの依存関係を注釈付けしました。 最後に,CelebA や WaterBirds などの他のデータセットに,線形層トレーニングのみの軽量な方法で機能発見とスプリシティランキングフレームワークを拡張できることを示し,Celeb-A のヘア分類において,これまで知られていなかった人種的偏見を発見する。

関連論文リスト

• CosFairNet:A Parameter-Space based Approach for Bias Free Learning [1.9116784879310025]
  バイアス付きデータに基づいてトレーニングされたディープニューラルネットワークは、意図しない推論ルールを不注意に学習することが多い。 本稿では,モデルのパラメータ空間内で直接バイアスに対処する新しい手法を提案する。 各種合成および実世界のデータセットにおいて,分類精度の向上と偏りの低減効果を示す。
  論文  参考訳（メタデータ） (2024-10-19T13:06:40Z)
• Reducing Bias in Pre-trained Models by Tuning while Penalizing Change [8.862970622361747]
  大量のデータに基づいてトレーニングされた深層モデルには、トレーニング期間中に存在する暗黙のバイアスが組み込まれていることが多い。 新しいデータは、しばしば高価で、自律運転や医療意思決定のような分野では入手が困難である。 本稿では,事前学習モデルを用いて,事前検出したバイアスを軽減するために重みを適応する変化ペナライゼーションに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-04-18T16:12:38Z)
• Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
  我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。 以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。 データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T07:54:50Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Pseudo Bias-Balanced Learning for Debiased Chest X-ray Classification [57.53567756716656]
  本研究では, バイアスラベルを正確に把握せず, 脱バイアス胸部X線診断モデルの開発について検討した。 本稿では,まずサンプルごとのバイアスラベルをキャプチャし,予測する新しいアルゴリズム,擬似バイアスバランス学習を提案する。 提案手法は他の最先端手法よりも一貫した改善を実現した。
  論文  参考訳（メタデータ） (2022-03-18T11:02:18Z)
• Reinforcement Based Learning on Classification Task Could Yield Better Generalization and Adversarial Accuracy [0.0]
  画像分類タスクを用いて深層学習モデルを訓練する新しい手法を提案する。 強化学習におけるバニラポリシー勾配法に類似した報酬に基づく最適化関数を用いる。
  論文  参考訳（メタデータ） (2020-12-08T11:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。