Fugu-MT 論文翻訳(概要): Improving Fairness-Accuracy tradeoff with few Test Samples under Covariate Shift

論文の概要: Improving Fairness-Accuracy tradeoff with few Test Samples under Covariate Shift

arxiv url: http://arxiv.org/abs/2310.07535v2
Date: Mon, 30 Oct 2023 08:53:40 GMT
ステータス: 処理完了
システム内更新日: 2023-11-01 22:27:10.189993
Title: Improving Fairness-Accuracy tradeoff with few Test Samples under Covariate Shift
Title（参考訳）: 共変量シフトによるテストサンプルの少ないフェアネス精度トレードオフの改善
Authors: Shreyas Havaldar, Jatin Chauhan, Karthikeyan Shanmugam, Jay Nandy, Aravindan Raghuveer
Abstract要約: 我々は、ラベル付きトレーニングセットとともに、ラベル付きテストサンプルの小さなセットのみが利用可能である教師なしの体制の下で運用する。我々は,損失定式化による最適化が,パレート感覚における最先端のベースラインよりも優れていることを実験的に検証した。提案手法は, それらの性能を著しく上回ることを示す。
参考スコア（独自算出の注目度）: 21.144077993862652
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Covariate shift in the test data can significantly downgrade both the accuracy and the fairness performance of the model. Ensuring fairness across different sensitive groups in such settings is of paramount importance due to societal implications like criminal justice. We operate under the unsupervised regime where only a small set of unlabeled test samples along with a labeled training set is available. Towards this problem, we make three contributions. First is a novel composite weighted entropy based objective for prediction accuracy which is optimized along with a representation matching loss for fairness. We experimentally verify that optimizing with our loss formulation outperforms a number of state-of-the-art baselines in the pareto sense with respect to the fairness-accuracy tradeoff on several standard datasets. Our second contribution is a new setting we term Asymmetric Covariate Shift that, to the best of our knowledge, has not been studied before. Asymmetric covariate shift occurs when distribution of covariates of one group shifts significantly compared to the other groups and this happens when a dominant group is over-represented. While this setting is extremely challenging for current baselines, We show that our proposed method significantly outperforms them. Our third contribution is theoretical, where we show that our weighted entropy term along with prediction loss on the training set approximates test loss under covariate shift. Empirically and through formal sample complexity bounds, we show that this approximation to the unseen test loss does not depend on importance sampling variance which affects many other baselines.
Abstract（参考訳）: テストデータの共変量は、モデルの精度と公平性の両方を著しく低下させることができる。このような状況下で、異なるセンシティブなグループ間で公平性を確保することは、刑事司法のような社会的意味合いによって最重要となる。ラベルのないテストサンプルとラベル付きトレーニングセットの小さなセットのみが利用可能な、教師なしの体制の下で運用します。この問題に対して、私たちは3つの貢献をします。まず,新しい複合重み付きエントロピーに基づく予測精度を目標とし,フェアネスの表現マッチング損失を最適化した。我々は、いくつかの標準データセットの公平性・正確性トレードオフに関して、損失定式化による最適化がパレート意味で多くの最先端ベースラインを上回っていることを実験的に検証する。第二の貢献は、Asymmetric Covariate Shift(非対称共変量シフト)という新しい設定である。非対称共変量シフト (asymmetric covariate shift) は、ある群の共変量の分布が他の群に比べて著しく変化し、支配的な群が過剰に表現されたときに起こる。この設定は現在のベースラインでは極めて困難であるが,提案手法がベースラインを大きく上回っていることを示す。第3の貢献は理論であり、トレーニングセットにおける予測損失と重み付きエントロピー項が共変量シフトの下でのテスト損失を近似することを示す。経験的および形式的サンプル複雑性境界により、この未知のテスト損失に対する近似は、他の多くのベースラインに影響を及ぼす重要サンプリング分散に依存しないことを示す。

関連論文リスト

RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness [94.69774317059122]
学習目的として使うのではなく、標準のクロスエントロピー損失に対する追加の正則化剤として利用すれば、良好なミックスアップの有効性がさらに向上できることが示される。この単純な変更は、精度を大幅に改善するだけでなく、Mixupの予測不確実性推定の品質を大幅に改善する。
論文参考訳（メタデータ） (2022-06-29T09:44:33Z)
Ensembling over Classifiers: a Bias-Variance Perspective [13.006468721874372]
Pfau (2013) による偏差分解の拡張の上に構築し, 分類器のアンサンブルの挙動に関する重要な知見を得る。条件付き推定は必然的に既約誤差を生じさせることを示す。経験的に、標準的なアンサンブルはバイアスを減少させ、この予期せぬ減少のために、分類器のアンサンブルがうまく機能するかもしれないという仮説を立てる。
論文参考訳（メタデータ） (2022-06-21T17:46:35Z)
Normalise for Fairness: A Simple Normalisation Technique for Fairness in Regression Machine Learning Problems [46.93320580613236]
回帰問題に対する正規化(FaiReg)に基づく単純かつ効果的な手法を提案する。データバランシングと敵対的トレーニングという,公正性のための2つの標準的な手法と比較する。その結果、データバランスよりも不公平さの影響を低減できる優れた性能を示した。
論文参考訳（メタデータ） (2022-02-02T12:26:25Z)
Covariate Shift in High-Dimensional Random Feature Regression [44.13449065077103]
共変量シフトは、堅牢な機械学習モデルの開発において重要な障害である。現代の機械学習の文脈における理論的理解を示す。
論文参考訳（メタデータ） (2021-11-16T05:23:28Z)
Selective Regression Under Fairness Criteria [30.672082160544996]
少数派集団のパフォーマンスは、カバー範囲を減らしながら低下する場合もある。満足度基準を満たす特徴を構築できれば、そのような望ましくない行動は避けられることを示す。
論文参考訳（メタデータ） (2021-10-28T19:05:12Z)
Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文参考訳（メタデータ） (2021-10-24T07:58:13Z)
Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。特に,この手法が標準正規化の魅力的な代替となることを示す。
論文参考訳（メタデータ） (2021-04-12T18:50:11Z)
Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文参考訳（メタデータ） (2020-12-16T04:09:04Z)
A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文参考訳（メタデータ） (2020-07-08T11:35:47Z)
Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文参考訳（メタデータ） (2020-06-19T05:08:43Z)
On Mixup Regularization [16.748910388577308]
Mixupは、トレーニングポイントとラベルの凸組み合わせとして新しい例を作成するデータ拡張テクニックである。そこで本研究では、Mixupの新しい解釈のランダムな摂動が、複数の既知の正規化スキームを誘導することを示す。
論文参考訳（メタデータ） (2020-06-10T20:11:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。