論文の概要: Spawrious: A Benchmark for Fine Control of Spurious Correlation Biases

• arxiv url: http://arxiv.org/abs/2303.05470v2
• Date: Thu, 8 Jun 2023 18:00:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 17:27:45.676423
• Title: Spawrious: A Benchmark for Fine Control of Spurious Correlation Biases
• Title（参考訳）: Spawrious:Spurious correlation Biasesの微妙な制御のためのベンチマーク
• Authors: Aengus Lynch, Gb\`etondji J-S Dovonon, Jean Kaddour, Ricardo Silva
• Abstract要約: Spawriousは画像分類のベンチマークスイートで、異なる犬種と背景の場所間の素早い相関関係を含んでいる。 我々は、写真リアルな画像を生成するためにテキスト・ツー・イメージモデルと、不適切な画像をフィルタリングするために画像キャプションモデルを用いる。 実験により, 最先端のグループロバストネス法がSpuriousと競合することを示す。
• 参考スコア（独自算出の注目度）: 8.455991178281469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The problem of spurious correlations (SCs) arises when a classifier relies on non-predictive features that happen to be correlated with the labels in the training data. For example, a classifier may misclassify dog breeds based on the background of dog images. This happens when the backgrounds are correlated with other breeds in the training data, leading to misclassifications during test time. Previous SC benchmark datasets suffer from varying issues, e.g., over-saturation or only containing one-to-one (O2O) SCs, but no many-to-many (M2M) SCs arising between groups of spurious attributes and classes. In this paper, we present Spawrious-{O2O, M2M}-{Easy, Medium, Hard}, an image classification benchmark suite containing spurious correlations among different dog breeds and background locations. To create this dataset, we employ a text-to-image model to generate photo-realistic images, and an image captioning model to filter out unsuitable ones. The resulting dataset is of high quality, containing approximately 152,000 images. Our experimental results demonstrate that state-of-the-art group robustness methods struggle with Spawrious, most notably on the Hard-splits with $<60\%$ accuracy. By examining model misclassifications, we detect reliances on spurious backgrounds, demonstrating that our dataset provides a significant challenge to drive future research.
• Abstract（参考訳）: スプリアス相関(英語版) (SC) の問題は、分類器がトレーニングデータのラベルと相関する非予測的特徴に依存するときに生じる。 例えば、分類器は、犬の画像の背景に基づいて犬種を誤分類することができる。 これは、バックグラウンドがトレーニングデータ内の他の品種と相関している場合に起こり、テスト時間中に誤分類が発生する。 以前のベンチマークデータセットでは、オーバー飽和や1対1(O2O)のSCのみを含むようなさまざまな問題に悩まされていたが、スプリアス属性とクラスのグループ間で発生する多対多(M2M)のSCは存在しない。 本稿では,異なる犬種と背景位置の急激な相関関係を含む画像分類ベンチマークスイートであるSpawrious-{O2O, M2M}-{Easy, Medium, Hard}を提案する。 このデータセットを作成するために,写真実写画像を生成するためのテキスト・ツー・イメージモデルと,不適切な画像をフィルタする画像キャプションモデルを用いる。 その結果得られたデータセットは、約152,000の画像を含む高品質である。 実験の結果,<60\%$精度のハードスリットにおいて,最先端の群ロバストネス法が耐久性に支障をきたすことがわかった。 モデルの誤分類を調べることで、スプリアスな背景に依存することを検出し、データセットが将来の研究を進める上で大きな課題となることを実証します。

関連論文リスト

• Decompose-and-Compose: A Compositional Approach to Mitigating Spurious Correlation [2.273629240935727]
  画像の要素を組み合わせることで相関シフトを改善するために,分解分解(DaC)を提案する。 経験的リスク最小化(Empirical Risk Minimization, ERM)で訓練されたモデルでは, 通常, 因果成分, あるいはラベルとの急激な相関性が高い成分のいずれかに高い関与が認められた。 トレーニング中に,グループラベルやスプリアスの特徴に関する情報を必要とせず,画像に介入してグループバランスを行う手法を提案する。
  論文  参考訳（メタデータ） (2024-02-29T07:24:24Z)
• Common-Sense Bias Discovery and Mitigation for Classification Tasks [16.8259488742528]
  画像記述に基づいてデータセットの特徴クラスタを抽出するフレームワークを提案する。 解析された特徴と相関は人間に解釈可能であるので、我々はCommon-Sense Bias Discovery (CSBD) という手法を名づける。 実験の結果,2つのベンチマーク画像データセットに対して,複数の分類タスクに新たなバイアスが生じることがわかった。
  論文  参考訳（メタデータ） (2024-01-24T03:56:07Z)
• Diverse, Difficult, and Odd Instances (D2O): A New Test Set for Object Classification [47.64219291655723]
  既存のテストセットと十分に異なるD2Oと呼ばれる新しいテストセットを導入します。 私たちのデータセットには、36のカテゴリにまたがる8,060のイメージが含まれており、そのうち29がImageNetに表示されています。 私たちのデータセットで最高のTop-1精度は約60%で、ImageNetで91%のTop-1精度よりもはるかに低いです。
  論文  参考訳（メタデータ） (2023-01-29T19:58:32Z)
• Better May Not Be Fairer: A Study on Subgroup Discrepancy in Image Classification [73.87160347728314]
  CIFAR10とCIFAR100のテストセットを各画像の背景色に基づいてサブグループにアノテートすることで、自然背景色が刺激的な特徴としてどのように機能するかを検討する。 全体としての人間レベルの精度は、一貫したサブグループ性能を保証せず、この現象はImageNetで事前訓練されたモデルやデータ拡張後のモデルでも継続している。 実験の結果,FlowAugはCIFAR10/100およびCIFAR10/100-C上で,他のDA法よりも一貫したサブグループ結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-12-16T18:51:10Z)
• Invariant Learning via Diffusion Dreamed Distribution Shifts [121.71383835729848]
  拡散ドリーム分布シフト(D3S)と呼ばれるデータセットを提案する。 D3Sは、テキストプロンプトを用いてStableDiffusionを通じて生成された合成画像と、サンプルフォアグラウンドイメージを背景テンプレートイメージにペーストした画像ガイドから構成される。 拡散モデルの驚くべきフォトリアリズムのため、我々の画像は以前の合成データセットよりも自然な画像に近い。
  論文  参考訳（メタデータ） (2022-11-18T17:07:43Z)
• Learning to Annotate Part Segmentation with Gradient Matching [58.100715754135685]
  本稿では,事前学習したGANを用いて,高品質な画像を生成することで,半教師付き部分分割タスクに対処することに焦点を当てる。 特に、アノテータ学習を学習から学習までの問題として定式化する。 提案手法は,実画像,生成された画像,さらには解析的に描画された画像を含む,幅広いラベル付き画像からアノテータを学習可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-06T01:29:22Z)
• Understanding out-of-distribution accuracies through quantifying difficulty of test samples [10.266928164137635]
  既存の研究によると、現代のニューラルネットワークは、分布内データセット(ID)において顕著な一般化性能を達成するが、分布外データセット(OOD)では精度が著しく低下する。 トレーニングデータセットとモデルの相互作用に依存するテスト画像(IDまたはOOD)の難易度を定量化する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-28T21:13:41Z)
• Free Lunch for Co-Saliency Detection: Context Adjustment [14.688461235328306]
  市販のサリエンシ検出データセットからの画像を利用して新しいサンプルを合成する「コストフリー」グループカットペースト(GCP)手順を提案する。 我々は、Context Adjustment Trainingと呼ばれる新しいデータセットを収集します。データセットの2つのバリエーション、すなわち、CATとCAT+は、それぞれ16,750と33,500の画像で構成されています。
  論文  参考訳（メタデータ） (2021-08-04T14:51:37Z)
• Background Splitting: Finding Rare Classes in a Sea of Background [55.03789745276442]
  我々は,少数の稀なカテゴリの画像分類のための,高精度な深層モデルの訓練という現実的な問題に焦点をあてる。 これらのシナリオでは、ほとんどの画像はデータセットの背景カテゴリに属します(データセットの95%は背景です)。 非バランスなデータセットをトレーニングするための標準的な微調整アプローチと最先端アプローチの両方が、この極端な不均衡の存在下で正確な深層モデルを生成していないことを実証する。
  論文  参考訳（メタデータ） (2020-08-28T23:05:15Z)
• I Am Going MAD: Maximum Discrepancy Competition for Comparing Classifiers Adaptively [135.7695909882746]
  我々は、MAD(Maximum Discrepancy)コンペティションを命名する。 任意に大きいラベル付き画像のコーパスから小さなテストセットを適応的にサンプリングする。 結果のモデル依存画像集合に人間のラベルを付けると、競合する分類器の相対的な性能が明らかになる。
  論文  参考訳（メタデータ） (2020-02-25T03:32:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。