論文の概要: Selective Classification Can Magnify Disparities Across Groups

• arxiv url: http://arxiv.org/abs/2010.14134v3
• Date: Wed, 14 Apr 2021 15:56:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 11:20:58.917249
• Title: Selective Classification Can Magnify Disparities Across Groups
• Title（参考訳）: グループ間の格差を拡大できる選択分類
• Authors: Erik Jones, Shiori Sagawa, Pang Wei Koh, Ananya Kumar, Percy Liang
• Abstract要約: 選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
• 参考スコア（独自算出の注目度）: 89.14499988774985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Selective classification, in which models can abstain on uncertain predictions, is a natural approach to improving accuracy in settings where errors are costly but abstentions are manageable. In this paper, we find that while selective classification can improve average accuracies, it can simultaneously magnify existing accuracy disparities between various groups within a population, especially in the presence of spurious correlations. We observe this behavior consistently across five vision and NLP datasets. Surprisingly, increasing abstentions can even decrease accuracies on some groups. To better understand this phenomenon, we study the margin distribution, which captures the model's confidences over all predictions. For symmetric margin distributions, we prove that whether selective classification monotonically improves or worsens accuracy is fully determined by the accuracy at full coverage (i.e., without any abstentions) and whether the distribution satisfies a property we call left-log-concavity. Our analysis also shows that selective classification tends to magnify full-coverage accuracy disparities. Motivated by our analysis, we train distributionally-robust models that achieve similar full-coverage accuracies across groups and show that selective classification uniformly improves each group on these models. Altogether, our results suggest that selective classification should be used with care and underscore the importance of training models to perform equally well across groups at full coverage.
• Abstract（参考訳）: モデルが不確実な予測を棄却できる選択分類は、エラーがコストがかかるが棄権が管理できる設定における精度を改善する自然なアプローチである。 本稿では,選択的な分類は平均的確率を向上できるが,集団内の様々なグループ,特に散発的な相関が存在する場合において,既存の精度の差も同時に拡大できることを示す。 5つのビジョンとNLPデータセットを一貫して観察する。 驚くべきことに、禁忌の増大は一部のグループでの増悪を減少させる可能性がある。 この現象をよりよく理解するために、全ての予測に対するモデルの自信を捉えたマージン分布の研究を行う。 対称マージン分布について, 選択的分類が単調に改善するか, 精度を低下させるかは, 完全被覆(すなわち, 断面積を伴わない)の精度と, 分布が我々がレフトログコンビニティと呼ぶ性質を満たすかによって完全に決定されることを示す。 また,全被覆精度の差は選択的に拡大する傾向がみられた。 本分析により,グループ間で類似の完全被覆精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。 以上から,選択分類はケアに利用すべきであり,完全カバレッジでグループ間で等しく機能するトレーニングモデルの重要性を強調する。

関連論文リスト

• How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks [1.4502611532302039]
  我々は,ロジットの単純な$p$-norm正規化を行い,次に最大ロジットを信頼度推定器とすることで,選択的分類性能が著しく向上することを示した。 我々の結果は、分布シフトの下で一貫していることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T18:56:55Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• On the Richness of Calibration [10.482805367361818]
  キャリブレーションスコアを設計する際の選択肢を明確にします。 これらを3つのグループ選択と,グループエラーの集約に関する選択にまとめる。 特に、予測ではなく、入力特徴に基づいてデータポイントをグループ化する可能性について検討する。 グループ化の適切な選択により、これらの新しいグローバルフェアネススコアは(サブ)グループや個人フェアネスの概念を提供することができることを実証する。
  論文  参考訳（メタデータ） (2023-02-08T15:19:46Z)
• Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation [51.809741427975105]
  この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。 我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。 核の基準は既存の手法よりも正確で堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T13:30:48Z)
• Anomaly Detection using Ensemble Classification and Evidence Theory [62.997667081978825]
  本稿では,アンサンブル分類とエビデンス理論を用いた新しい検出手法を提案する。 固体アンサンブル分類器を構築するためのプール選択戦略が提示される。 我々は異常検出手法の不確実性を利用する。
  論文  参考訳（メタデータ） (2022-12-23T00:50:41Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Selective Ensembles for Consistent Predictions [19.154189897847804]
  不整合は高い文脈では望ましくない。 この矛盾は、予測を超えて属性を特徴付けていることが示される。 我々は,選択的アンサンブルが低禁制率を維持しつつ,一貫した予測と特徴属性を達成することを証明した。
  論文  参考訳（メタデータ） (2021-11-16T05:03:56Z)
• Selective Regression Under Fairness Criteria [30.672082160544996]
  少数派集団のパフォーマンスは、カバー範囲を減らしながら低下する場合もある。 満足度基準を満たす特徴を構築できれば、そのような望ましくない行動は避けられることを示す。
  論文  参考訳（メタデータ） (2021-10-28T19:05:12Z)
• PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
  長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。 本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。 本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
  論文  参考訳（メタデータ） (2021-05-22T18:07:56Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。