論文の概要: Identification of Systematic Errors of Image Classifiers on Rare Subgroups

• arxiv url: http://arxiv.org/abs/2303.05072v1
• Date: Thu, 9 Mar 2023 07:08:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 15:54:08.296034
• Title: Identification of Systematic Errors of Image Classifiers on Rare Subgroups
• Title（参考訳）: 希少部分群における画像分類器の系統誤差の同定
• Authors: Jan Hendrik Metzen, Robin Hutmacher, N. Grace Hua, Valentyn Boreiko, Dan Zhang
• Abstract要約: 組織的エラーは、少数民族の公正性だけでなく、ドメインシフト時の堅牢性と安全性にも影響します。 我々は,テキスト・ツー・イメージ・モデルにおける最近の進歩を活用し,ターゲットモデルの性能が低いサブグループに対するサブグループのテキスト記述("prompts")の空間を探索する。 本稿では, PromptAttackによるサブグループカバレッジと識別可能性について検討し, 高い精度で系統的誤りを識別できることを見出した。
• 参考スコア（独自算出の注目度）: 12.064692111429494
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Despite excellent average-case performance of many image classifiers, their performance can substantially deteriorate on semantically coherent subgroups of the data that were under-represented in the training data. These systematic errors can impact both fairness for demographic minority groups as well as robustness and safety under domain shift. A major challenge is to identify such subgroups with subpar performance when the subgroups are not annotated and their occurrence is very rare. We leverage recent advances in text-to-image models and search in the space of textual descriptions of subgroups ("prompts") for subgroups where the target model has low performance on the prompt-conditioned synthesized data. To tackle the exponentially growing number of subgroups, we employ combinatorial testing. We denote this procedure as PromptAttack as it can be interpreted as an adversarial attack in a prompt space. We study subgroup coverage and identifiability with PromptAttack in a controlled setting and find that it identifies systematic errors with high accuracy. Thereupon, we apply PromptAttack to ImageNet classifiers and identify novel systematic errors on rare subgroups.
• Abstract（参考訳）: 多くの画像分類器の平均ケース性能にもかかわらず、それらの性能はトレーニングデータで表現されていないデータのセマンティックコヒーレントな部分群で著しく低下する。 これらの系統的誤りは、少数民族集団の公平性と、ドメインシフト下での堅牢性と安全性の両方に影響を与える可能性がある。 主要な課題は、これらの部分群がアノテートされず、その発生が非常に稀なときに、サブパー性能を持つ部分群を特定することである。 我々は,テキスト・ツー・イメージ・モデルにおける最近の進歩と,プロンプト付き合成データに対する目標モデルの性能が低いサブグループに対するサブグループのテキスト記述空間の探索を利用する。 指数関数的に増加するサブグループに対処するために、組合せテストを採用する。 本稿では,プロンプトアタック(PromptAttack)と表現し,プロンプト空間における敵攻撃と解釈できる。 制御された環境では,プロンプトアタックによるサブグループカバレッジと識別性を調査し,高い精度で系統的誤りを識別できることを見いだした。 本稿では、ImageNet分類器にPromptAttackを適用し、稀なサブグループの新しい体系的エラーを特定する。

関連論文リスト

• Discover and Mitigate Multiple Biased Subgroups in Image Classifiers [45.96784278814168]
  機械学習モデルは、分散データではうまく機能するが、トレーニングデータに不足している偏りのあるサブグループでは失敗することが多い。 この問題に対処するために,分解,解釈,緩和(DIM)を提案する。 提案手法では,画像特徴を複数のサブグループを表す複数のコンポーネントに分解する。
  論文  参考訳（メタデータ） (2024-03-19T14:44:54Z)
• Uncovering Prototypical Knowledge for Weakly Open-Vocabulary Semantic Segmentation [59.37587762543934]
  本稿では,弱開語彙セマンティックセマンティックセグメンテーション(WOVSS)の問題点について検討する。 既存の方法は、グループトークンの使用に関する粒度の矛盾に悩まされる。 マルチモーダル正規化を組み込んだプロトタイプ誘導ネットワーク(PGSeg)を提案する。
  論文  参考訳（メタデータ） (2023-10-29T13:18:00Z)
• Deep Hypothesis Tests Detect Clinically Relevant Subgroup Shifts in Medical Images [21.01688837312175]
  機械学習システムにおけるサブグループシフトの検出に焦点をあてる。 近年の最先端統計検査は, 医用画像データのサブグループシフト検出に有効である。
  論文  参考訳（メタデータ） (2023-03-08T19:58:41Z)
• Outlier-Robust Group Inference via Gradient Space Clustering [50.87474101594732]
  既存のメソッドは、最悪のグループのパフォーマンスを改善することができるが、それらは、しばしば高価で入手できないグループアノテーションを必要とする。 モデルパラメータの勾配の空間にデータをクラスタリングすることで,アウトレーヤの存在下でグループアノテーションを学習する問題に対処する。 そこで我々は,DBSCANのような標準クラスタリング手法に適合するように,マイノリティグループや外れ値に関する情報を保存しながら,勾配空間内のデータがより単純な構造を持つことを示す。
  論文  参考訳（メタデータ） (2022-10-13T06:04:43Z)
• Subgroup Discovery in Unstructured Data [7.6323763630645285]
  サブグループ発見は知識発見と仮説生成に多くの応用がある。 サブグループ対応変分オートエンコーダは、より高い品質のサブグループにつながる非構造化データの表現を学習する。
  論文  参考訳（メタデータ） (2022-07-15T23:13:54Z)
• Addressing Missing Sources with Adversarial Support-Matching [8.53946780558779]
  そこで本研究では,データ内の2段階階層の2段階に,データの欠如が関係しているシナリオについて検討する。 アルゴリズム的公正性から保護された群の概念に触発され、この第2階層によって彫られた分割を「部分群」と呼ぶ。 私たちは、サブグループに不変な表現を学ぶために、"deployment set"と呼ばれる追加で多様だがラベルなしのデータセットを使用します。
  論文  参考訳（メタデータ） (2022-03-24T16:19:19Z)
• Causal Scene BERT: Improving object detection by searching for challenging groups of data [125.40669814080047]
  コンピュータビジョンアプリケーションは、物体検出のようなタスクのためにニューラルネットワークでパラメータ化された学習ベースの知覚モジュールに依存している。 これらのモジュールは、トレーニングプロセスに固有のバイアスのため、予想される誤差が低いが、データの非定型的なグループに対して高い誤差を持つことが多い。 本研究の主な貢献は,シミュレートされたシーンに対して因果的介入を行うことにより,前向きにそのようなグループを発見する擬似オートマチック手法である。
  論文  参考訳（メタデータ） (2022-02-08T05:14:16Z)
• Towards Group Robustness in the presence of Partial Group Labels [61.33713547766866]
  入力サンプルとターゲットラベルの間に 急激な相関関係がある ニューラルネットワークの予測を誤った方向に導く 本稿では,制約セットから最悪のグループ割り当てを最適化するアルゴリズムを提案する。 グループ間で総合的な集計精度を維持しつつ,少数集団のパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T22:04:48Z)
• Learning Multi-Attention Context Graph for Group-Based Re-Identification [214.84551361855443]
  オーバーラップしていないカメラシステムを介して人々のグループを再識別または取得することを学ぶことは、ビデオ監視において重要なアプリケーションです。 本研究では,グループre-idというグループを識別するためのコンテキスト情報の利用を検討する。 本研究では,グループベースリドタスクを同時に処理するグラフニューラルネットワークに基づく新しい統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-29T09:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。