論文の概要: Benchmarking Spurious Bias in Few-Shot Image Classifiers

• arxiv url: http://arxiv.org/abs/2409.02882v1
• Date: Wed, 4 Sep 2024 17:07:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 16:52:09.831530
• Title: Benchmarking Spurious Bias in Few-Shot Image Classifiers
• Title（参考訳）: Few-Shot画像分類器におけるすっきりとしたバイアスのベンチマーク
• Authors: Guangtao Zheng, Wenqian Ye, Aidong Zhang,
• Abstract要約: 画像分類器はほとんどないが、クラスとスプリアス属性の間のスプリアス相関に依存しており、スプリアスバイアスとして知られている。 我々はFewSTABを提案する。このFewSTABは、数発の分類器の様々な頑健さを定量的に証明し、定量化し、刺激バイアスを与える。 FewSTABは、バイアスのある属性を持つ少数ショット評価タスクを生成し、予測にそれらを使用することでパフォーマンスが低下することを示す。
• 参考スコア（独自算出の注目度）: 26.544938760265136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot image classifiers are designed to recognize and classify new data with minimal supervision and limited data but often show reliance on spurious correlations between classes and spurious attributes, known as spurious bias. Spurious correlations commonly hold in certain samples and few-shot classifiers can suffer from spurious bias induced from them. There is an absence of an automatic benchmarking system to assess the robustness of few-shot classifiers against spurious bias. In this paper, we propose a systematic and rigorous benchmark framework, termed FewSTAB, to fairly demonstrate and quantify varied degrees of robustness of few-shot classifiers to spurious bias. FewSTAB creates few-shot evaluation tasks with biased attributes so that using them for predictions can demonstrate poor performance. To construct these tasks, we propose attribute-based sample selection strategies based on a pre-trained vision-language model, eliminating the need for manual dataset curation. This allows FewSTAB to automatically benchmark spurious bias using any existing test data. FewSTAB offers evaluation results in a new dimension along with a new design guideline for building robust classifiers. Moreover, it can benchmark spurious bias in varied degrees and enable designs for varied degrees of robustness. Its effectiveness is demonstrated through experiments on ten few-shot learning methods across three datasets. We hope our framework can inspire new designs of robust few-shot classifiers. Our code is available at https://github.com/gtzheng/FewSTAB.
• Abstract（参考訳）: 画像分類器は、最小限の監督と制限されたデータで新しいデータを認識・分類するために設計されているが、しばしばクラスとスプリアスバイアスとして知られるスプリアス属性の間のスプリアス相関に依存する。 特定のサンプルでよく見られる鮮やかな相関や、数発の分類器はそれらから引き起こされる刺激的なバイアスに悩まされる。 数発の分類器のロバスト性を評価するための自動ベンチマークシステムが存在しない。 本稿では,FewSTABと呼ばれる体系的かつ厳密なベンチマークフレームワークを提案する。 FewSTABは、バイアスのある属性を持つ少数ショット評価タスクを生成し、予測にそれらを使用することでパフォーマンスが低下することを示す。 これらのタスクを構築するために、事前に訓練された視覚言語モデルに基づく属性ベースのサンプル選択戦略を提案し、手動によるデータセットのキュレーションを不要にする。 これにより、FewSTABは既存のテストデータを使って、スパイラルなバイアスを自動的にベンチマークすることができる。 FewSTABは、ロバストな分類器を構築するための新しい設計ガイドラインとともに、新しい次元の評価結果を提供する。 さらに、様々な度合いで急激なバイアスをベンチマークし、様々な強靭性のための設計を可能にする。 その効果は、3つのデータセットにまたがる10個の数発の学習方法の実験によって実証される。 私たちのフレームワークは、堅牢な数発の分類器の新たな設計をインスピレーションできることを期待しています。 私たちのコードはhttps://github.com/gtzheng/FewSTAB.comで利用可能です。

関連論文リスト

• Enhancing Intrinsic Features for Debiasing via Investigating Class-Discerning Common Attributes in Bias-Contrastive Pair [36.221761997349795]
  ディープニューラルネットワークは、データセットバイアスの存在下でターゲットクラスと急激な相関を持つバイアス特性に依存している。 本稿では,本質的特徴の領域を示す空間的指示を明示的に提示する手法を提案する。 実験により, 種々のバイアス重大度を有する合成および実世界のデータセットに対して, 最先端の性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2024-04-30T04:13:14Z)
• Rethinking Dense Retrieval's Few-Shot Ability [24.86681340512899]
  少数の高密度検索は,いくつかのサンプルを学習することで,新しい検索シナリオに一般化することを目的としている。 現在の手法では、教師付きデータセットからランダムにサンプリングして、"few-data"セットアップを作成することが多い。 カスタマイズされたFewDRデータセットと統一評価ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-04-12T13:20:16Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning [23.465747123791772]
  少数の分類において、第一の目的は、新しいクラスをうまく一般化する表現を学ぶことである。 オルソショット(Ortho-Shot)と呼ばれる効率的な低変位ランク(LDR)正規化戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-18T14:58:36Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。