論文の概要: Spawrious: A Benchmark for Fine Control of Spurious Correlation Biases
- arxiv url: http://arxiv.org/abs/2303.05470v3
- Date: Mon, 12 Jun 2023 14:04:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 11:35:07.642222
- Title: Spawrious: A Benchmark for Fine Control of Spurious Correlation Biases
- Title（参考訳）: Spawrious:Spurious correlation Biasesの微妙な制御のためのベンチマーク
- Authors: Aengus Lynch, Gb\`etondji J-S Dovonon, Jean Kaddour, Ricardo Silva
- Abstract要約: 我々は,クラスと背景の素早い相関関係を含む画像分類ベンチマークスイートであるベンチマーク-O2O,M2M-Easy,Medium,Hardを提案する。
得られたデータセットは高品質で、約152Kの画像を含んでいる。
- 参考スコア（独自算出の注目度）: 8.455991178281469
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The problem of spurious correlations (SCs) arises when a classifier relies on
non-predictive features that happen to be correlated with the labels in the
training data. For example, a classifier may misclassify dog breeds based on
the background of dog images. This happens when the backgrounds are correlated
with other breeds in the training data, leading to misclassifications during
test time. Previous SC benchmark datasets suffer from varying issues, e.g.,
over-saturation or only containing one-to-one (O2O) SCs, but no many-to-many
(M2M) SCs arising between groups of spurious attributes and classes. In this
paper, we present \benchmark-\{O2O, M2M\}-\{Easy, Medium, Hard\}, an image
classification benchmark suite containing spurious correlations between classes
and backgrounds. To create this dataset, we employ a text-to-image model to
generate photo-realistic images and an image captioning model to filter out
unsuitable ones. The resulting dataset is of high quality and contains
approximately 152k images. Our experimental results demonstrate that
state-of-the-art group robustness methods struggle with \benchmark, most
notably on the Hard-splits with none of them getting over $70\%$ accuracy on
the hardest split using a ResNet50 pretrained on ImageNet. By examining model
misclassifications, we detect reliances on spurious backgrounds, demonstrating
that our dataset provides a significant challenge.
- Abstract（参考訳）: スプリアス相関(英語版) (SC) の問題は、分類器がトレーニングデータのラベルと相関する非予測的特徴に依存するときに生じる。
例えば、分類器は、犬の画像の背景に基づいて犬種を誤分類することができる。
これは、バックグラウンドがトレーニングデータ内の他の品種と相関している場合に起こり、テスト時間中に誤分類が発生する。
以前のベンチマークデータセットでは、オーバー飽和や1対1(O2O)のSCのみを含むようなさまざまな問題に悩まされていたが、スプリアス属性とクラスのグループ間で発生する多対多(M2M)のSCは存在しない。
本稿では,クラスと背景の素早い相関関係を含む画像分類ベンチマークスイートである,benchmark-\{O2O, M2M\}-\{Easy, Medium, Hard\}を提案する。
このデータセットの作成には,テキスト・ツー・イメージモデルを用いて写真実写画像の生成と,不適切な画像のフィルタリングを行う画像キャプションモデルを用いる。
得られたデータセットは高品質で、約152kの画像を含んでいる。
実験の結果,imagenet で事前トレーニングされた resnet50 を用いて最も難しい分割に対して 70 % 以上の精度を得られず,特にハードスプリットにおいて,最先端のグループロバストネス手法が \benchmark に支障をきたすことが判明した。
モデルの誤分類を調べることで、スプリアスな背景に依存することを検出し、データセットが大きな課題をもたらすことを実証する。
関連論文リスト
- Decompose-and-Compose: A Compositional Approach to Mitigating Spurious Correlation [2.273629240935727]
画像の要素を組み合わせることで相関シフトを改善するために,分解分解(DaC)を提案する。
経験的リスク最小化(Empirical Risk Minimization, ERM)で訓練されたモデルでは, 通常, 因果成分, あるいはラベルとの急激な相関性が高い成分のいずれかに高い関与が認められた。
トレーニング中に,グループラベルやスプリアスの特徴に関する情報を必要とせず,画像に介入してグループバランスを行う手法を提案する。
論文 参考訳（メタデータ） (2024-02-29T07:24:24Z) - Common-Sense Bias Discovery and Mitigation for Classification Tasks [16.8259488742528]
画像記述に基づいてデータセットの特徴クラスタを抽出するフレームワークを提案する。
解析された特徴と相関は人間に解釈可能であるので、我々はCommon-Sense Bias Discovery (CSBD) という手法を名づける。
実験の結果,2つのベンチマーク画像データセットに対して,複数の分類タスクに新たなバイアスが生じることがわかった。
論文 参考訳（メタデータ） (2024-01-24T03:56:07Z) - Diverse, Difficult, and Odd Instances (D2O): A New Test Set for Object
Classification [47.64219291655723]
既存のテストセットと十分に異なるD2Oと呼ばれる新しいテストセットを導入します。
私たちのデータセットには、36のカテゴリにまたがる8,060のイメージが含まれており、そのうち29がImageNetに表示されています。
私たちのデータセットで最高のTop-1精度は約60%で、ImageNetで91%のTop-1精度よりもはるかに低いです。
論文 参考訳（メタデータ） (2023-01-29T19:58:32Z) - Better May Not Be Fairer: A Study on Subgroup Discrepancy in Image
Classification [73.87160347728314]
CIFAR10とCIFAR100のテストセットを各画像の背景色に基づいてサブグループにアノテートすることで、自然背景色が刺激的な特徴としてどのように機能するかを検討する。
全体としての人間レベルの精度は、一貫したサブグループ性能を保証せず、この現象はImageNetで事前訓練されたモデルやデータ拡張後のモデルでも継続している。
実験の結果,FlowAugはCIFAR10/100およびCIFAR10/100-C上で,他のDA法よりも一貫したサブグループ結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-12-16T18:51:10Z) - Invariant Learning via Diffusion Dreamed Distribution Shifts [121.71383835729848]
拡散ドリーム分布シフト(D3S)と呼ばれるデータセットを提案する。
D3Sは、テキストプロンプトを用いてStableDiffusionを通じて生成された合成画像と、サンプルフォアグラウンドイメージを背景テンプレートイメージにペーストした画像ガイドから構成される。
拡散モデルの驚くべきフォトリアリズムのため、我々の画像は以前の合成データセットよりも自然な画像に近い。
論文 参考訳（メタデータ） (2022-11-18T17:07:43Z) - Learning to Annotate Part Segmentation with Gradient Matching [58.100715754135685]
本稿では,事前学習したGANを用いて,高品質な画像を生成することで,半教師付き部分分割タスクに対処することに焦点を当てる。
特に、アノテータ学習を学習から学習までの問題として定式化する。
提案手法は,実画像,生成された画像,さらには解析的に描画された画像を含む,幅広いラベル付き画像からアノテータを学習可能であることを示す。
論文 参考訳（メタデータ） (2022-11-06T01:29:22Z) - Understanding out-of-distribution accuracies through quantifying
difficulty of test samples [10.266928164137635]
既存の研究によると、現代のニューラルネットワークは、分布内データセット(ID)において顕著な一般化性能を達成するが、分布外データセット(OOD)では精度が著しく低下する。
トレーニングデータセットとモデルの相互作用に依存するテスト画像(IDまたはOOD)の難易度を定量化する新しい指標を提案する。
論文 参考訳（メタデータ） (2022-03-28T21:13:41Z) - Free Lunch for Co-Saliency Detection: Context Adjustment [14.688461235328306]
市販のサリエンシ検出データセットからの画像を利用して新しいサンプルを合成する「コストフリー」グループカットペースト(GCP)手順を提案する。
我々は、Context Adjustment Trainingと呼ばれる新しいデータセットを収集します。データセットの2つのバリエーション、すなわち、CATとCAT+は、それぞれ16,750と33,500の画像で構成されています。
論文 参考訳（メタデータ） (2021-08-04T14:51:37Z) - Background Splitting: Finding Rare Classes in a Sea of Background [55.03789745276442]
我々は,少数の稀なカテゴリの画像分類のための,高精度な深層モデルの訓練という現実的な問題に焦点をあてる。
これらのシナリオでは、ほとんどの画像はデータセットの背景カテゴリに属します(データセットの95%は背景です)。
非バランスなデータセットをトレーニングするための標準的な微調整アプローチと最先端アプローチの両方が、この極端な不均衡の存在下で正確な深層モデルを生成していないことを実証する。
論文 参考訳（メタデータ） (2020-08-28T23:05:15Z) - I Am Going MAD: Maximum Discrepancy Competition for Comparing
Classifiers Adaptively [135.7695909882746]
我々は、MAD(Maximum Discrepancy)コンペティションを命名する。
任意に大きいラベル付き画像のコーパスから小さなテストセットを適応的にサンプリングする。
結果のモデル依存画像集合に人間のラベルを付けると、競合する分類器の相対的な性能が明らかになる。
論文 参考訳（メタデータ） (2020-02-25T03:32:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。