論文の概要: Systematic Evaluation of Predictive Fairness
- arxiv url: http://arxiv.org/abs/2210.08758v1
- Date: Mon, 17 Oct 2022 05:40:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 16:31:02.711182
- Title: Systematic Evaluation of Predictive Fairness
- Title（参考訳）: 予測公平性の体系的評価
- Authors: Xudong Han, Aili Shen, Trevor Cohn, Timothy Baldwin, Lea Frermann
- Abstract要約: バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。
複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。
データ条件が相対モデルの性能に強い影響を与えることがわかった。
- 参考スコア（独自算出の注目度）: 60.0947291284978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mitigating bias in training on biased datasets is an important open problem.
Several techniques have been proposed, however the typical evaluation regime is
very limited, considering very narrow data conditions. For instance, the effect
of target class imbalance and stereotyping is under-studied. To address this
gap, we examine the performance of various debiasing methods across multiple
tasks, spanning binary classification (Twitter sentiment), multi-class
classification (profession prediction), and regression (valence prediction).
Through extensive experimentation, we find that data conditions have a strong
influence on relative model performance, and that general conclusions cannot be
drawn about method efficacy when evaluating only on standard datasets, as is
current practice in fairness research.
- Abstract（参考訳）: 偏りのあるデータセットのトレーニングにおけるバイアスの軽減は、重要なオープン問題である。
いくつかの手法が提案されているが、非常に狭いデータ条件を考えると、典型的な評価方法は非常に限られている。
例えば、ターゲットクラスの不均衡とステレオタイプの影響は未検討である。
このギャップに対処するために,バイナリ分類(twitterの感情),マルチクラス分類(プロフェッション予測),回帰(評価予測)など,複数のタスクにわたるさまざまなデバイアス手法のパフォーマンスについて検討した。
広範囲な実験を通じて,データ条件が相対的モデル性能に強い影響を与えること,また,公平性研究における現在の実践と同様に,標準データセットのみを評価する場合の方法の有効性について一般的な結論が示されないこと,等を見いだす。
関連論文リスト
- Rethinking Fair Representation Learning for Performance-Sensitive Tasks [19.40265690963578]
因果推論を用いて、データセットバイアスの異なるソースを定義し、定式化する。
我々は、分布シフト下での公正表現学習の性能を調べるために、様々な医学的モダリティにまたがる実験を行う。
論文 参考訳（メタデータ） (2024-10-05T11:01:16Z) - A Large-Scale Neutral Comparison Study of Survival Models on Low-Dimensional Data [7.199059106376138]
この研究は、単一イベント、右検閲、低次元生存データに焦点を当てた最初の大規模な中性ベンチマーク実験を示す。
我々は、32の公開データセット上で、古典的な統計的アプローチから多くの一般的な機械学習手法まで、18のモデルをベンチマークした。
論文 参考訳（メタデータ） (2024-06-06T14:13:38Z) - Too Good To Be True: performance overestimation in (re)current practices
for Human Activity Recognition [49.1574468325115]
データセグメンテーションのためのスライディングウィンドウと、標準のランダムk倍のクロスバリデーションが続くと、バイアスのある結果が得られる。
この問題に対する科学界の認識を高めることは重要であり、その否定的な影響は見落とされつつある。
異なるタイプのデータセットと異なるタイプの分類モデルを用いたいくつかの実験により、問題を示し、メソッドやデータセットとは独立して持続することを示すことができる。
論文 参考訳（メタデータ） (2023-10-18T13:24:05Z) - Provable Detection of Propagating Sampling Bias in Prediction Models [1.7709344190822935]
本稿では,データバイアスの特定の形式である差分サンプリングバイアスが,データステージから予測ステージにどのように伝播するかを理論的に分析する。
妥当な仮定の下では、モデル予測におけるバイアスの量が、データの差分サンプリングバイアスの量の関数としてどのように変化するかを定量化する。
仮定が緩和された場合でも理論的な結果が実際に成り立つことを実証する。
論文 参考訳（メタデータ） (2023-02-13T23:39:35Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Normalise for Fairness: A Simple Normalisation Technique for Fairness in Regression Machine Learning Problems [46.93320580613236]
回帰問題に対する正規化(FaiReg)に基づく単純かつ効果的な手法を提案する。
データバランシングと敵対的トレーニングという,公正性のための2つの標準的な手法と比較する。
その結果、データバランスよりも不公平さの影響を低減できる優れた性能を示した。
論文 参考訳（メタデータ） (2022-02-02T12:26:25Z) - Selecting the suitable resampling strategy for imbalanced data
classification regarding dataset properties [62.997667081978825]
医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。
この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。
オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
論文 参考訳（メタデータ） (2021-12-15T18:56:39Z) - Through the Data Management Lens: Experimental Analysis and Evaluation
of Fair Classification [75.49600684537117]
データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。
我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。
我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
論文 参考訳（メタデータ） (2021-01-18T22:55:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。