論文の概要: Better May Not Be Fairer: A Study on Subgroup Discrepancy in Image Classification

• arxiv url: http://arxiv.org/abs/2212.08649v2
• Date: Fri, 22 Sep 2023 05:44:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 19:37:56.656634
• Title: Better May Not Be Fairer: A Study on Subgroup Discrepancy in Image Classification
• Title（参考訳）: 公平でない方がよいか:画像分類における部分群差に関する研究
• Authors: Ming-Chang Chiu, Pin-Yu Chen, Xuezhe Ma
• Abstract要約: CIFAR10とCIFAR100のテストセットを各画像の背景色に基づいてサブグループにアノテートすることで、自然背景色が刺激的な特徴としてどのように機能するかを検討する。 全体としての人間レベルの精度は、一貫したサブグループ性能を保証せず、この現象はImageNetで事前訓練されたモデルやデータ拡張後のモデルでも継続している。 実験の結果,FlowAugはCIFAR10/100およびCIFAR10/100-C上で,他のDA法よりも一貫したサブグループ結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 73.87160347728314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we provide 20,000 non-trivial human annotations on popular datasets as a first step to bridge gap to studying how natural semantic spurious features affect image classification, as prior works often study datasets mixing low-level features due to limitations in accessing realistic datasets. We investigate how natural background colors play a role as spurious features by annotating the test sets of CIFAR10 and CIFAR100 into subgroups based on the background color of each image. We name our datasets \textbf{CIFAR10-B} and \textbf{CIFAR100-B} and integrate them with CIFAR-Cs. We find that overall human-level accuracy does not guarantee consistent subgroup performances, and the phenomenon remains even on models pre-trained on ImageNet or after data augmentation (DA). To alleviate this issue, we propose \textbf{FlowAug}, a \emph{semantic} DA that leverages decoupled semantic representations captured by a pre-trained generative flow. Experimental results show that FlowAug achieves more consistent subgroup results than other types of DA methods on CIFAR10/100 and on CIFAR10/100-C. Additionally, it shows better generalization performance. Furthermore, we propose a generic metric, \emph{MacroStd}, for studying model robustness to spurious correlations, where we take a macro average on the weighted standard deviations across different classes. We show \textit{MacroStd} being more predictive of better performances; per our metric, FlowAug demonstrates improvements on subgroup discrepancy. Although this metric is proposed to study our curated datasets, it applies to all datasets that have subgroups or subclasses. Lastly, we also show superior out-of-distribution results on CIFAR10.1.
• Abstract（参考訳）: 本稿では,一般的なデータセットに対する2万件の非自明な人間のアノテーションを,自然な意味的スプリアス機能が画像の分類にどのように影響するかを研究するための第一歩として提供します。 各画像の背景色に基づいてcifar10とcifar100のテストセットをサブグループにアノテートすることにより,自然背景色がスプリアスな特徴として果たす役割について検討する。 データセットは、textbf{CIFAR10-B} と \textbf{CIFAR100-B} と名付け、CIFAR-Csと統合します。 人間のレベルでの精度は、一貫したサブグループ性能を保証せず、ImageNetやデータ拡張後のモデルでもその現象は継続している。 この問題を緩和するために、事前学習された生成フローによってキャプチャされたデカップリングされた意味表現を利用する \textbf{FlowAug}, a \emph{semantic} DA を提案する。 実験の結果,FlowAugはCIFAR10/100およびCIFAR10/100-C上で,他のDA法よりも一貫したサブグループ結果が得られることがわかった。 さらに、より優れた一般化性能を示す。 さらに,各クラス間の重み付き標準偏差に対してマクロ平均値を取ることにより,モデルロバスト性からスプリアス相関を研究するための一般的な計量である \emph{macrostd} を提案する。 私たちは、 \textit{macrostd} がより良いパフォーマンスをより予測していることを示している。 このメトリクスは、キュレートされたデータセットを研究するために提案されているが、サブグループまたはサブクラスを持つすべてのデータセットに適用される。 最後に、cifar10.1でより優れた分散結果を示す。

関連論文リスト

• Generalized Category Discovery with Clustering Assignment Consistency [56.92546133591019]
  一般化圏発見(GCD)は、最近提案されたオープンワールドタスクである。 クラスタリングの一貫性を促進するための協調学習ベースのフレームワークを提案する。 提案手法は,3つの総合的なベンチマークと3つのきめ細かい視覚認識データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-10-30T00:32:47Z)
• A soft nearest-neighbor framework for continual semi-supervised learning [35.957577587090604]
  本稿では,全てのデータサンプルがラベル付けされていない連続的半教師付き学習手法を提案する。 我々は、最も近い隣人の力を利用して、特徴空間を非線形に分割し、基礎となるデータ分布を柔軟にモデル化する。 提案手法は,低解像度画像と高解像度画像の両方で良好に動作し,より複雑なデータセットにシームレスにスケールする。
  論文  参考訳（メタデータ） (2022-12-09T20:03:59Z)
• AU-Aware Vision Transformers for Biased Facial Expression Recognition [17.00557858587472]
  本研究では,複数のFERデータセットのナイーブな共同トレーニングが個々のFERデータセットのパフォーマンスに有害であることを示す。 AU-ViT(AU-Aware Vision Transformer)を提案する。 私たちのAU-ViTは、RAF-DBで91.10%、AffectNetで65.59%、FERPlusで90.15%という、一般的な3つのデータセットで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-11-12T08:58:54Z)
• Assessing Dataset Bias in Computer Vision [0.0]
  偏見は、訓練するモデルに伝播する傾向があり、しばしば少数派ではパフォーマンスが劣る。 UTKFaceデータセットのサンプルに、アンダーサンプリング、幾何変換、可変オートエンコーダ(VAE)、生成逆ネットワーク(GAN)など、いくつかの拡張手法を適用する。 FairFaceモデルと比較して、複数のデータセット上の年齢と民族の分類において、我々のモデルが全体的なパフォーマンスと一貫性を向上できることを示しました。
  論文  参考訳（メタデータ） (2022-05-03T22:45:49Z)
• Improving Contrastive Learning on Imbalanced Seed Data via Open-World Sampling [96.8742582581744]
  我々は、Model-Aware K-center (MAK)と呼ばれるオープンワールドなラベルなしデータサンプリングフレームワークを提案する。 MAKは、尾性、近接性、多様性の3つの単純な原則に従う。 我々はMAKが学習した機能の全体的な表現品質とクラスバランス性の両方を継続的に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-11-01T15:09:41Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Learning to Model and Ignore Dataset Bias with Mixed Capacity Ensembles [66.15398165275926]
  本稿では,データセット固有のパターンを自動的に検出・無視する手法を提案する。 我々の方法は、より高い容量モデルでアンサンブルで低容量モデルを訓練する。 視覚的質問応答データセットの10ポイントゲインを含む,すべての設定の改善を示す。
  論文  参考訳（メタデータ） (2020-11-07T22:20:03Z)
• SCAN: Learning to Classify Images without Labels [73.69513783788622]
  機能学習とクラスタリングを分離する2段階のアプローチを提唱する。 表現学習からの自己教師型タスクを用いて意味論的意味のある特徴を得る。 我々は、ImageNet上で有望な結果を得、低データ体制下では、いくつかの半教師付き学習方法より優れています。
  論文  参考訳（メタデータ） (2020-05-25T18:12:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。