論文の概要: No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models

• arxiv url: http://arxiv.org/abs/2603.09662v1
• Date: Tue, 10 Mar 2026 13:34:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:24.340792
• Title: No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models
• Title（参考訳）: 公正表現のない評価 : ラベルと選択バイアスが分類モデルの評価・性能・緩和に及ぼす影響
• Authors: Magali Legast, Toon Calders, François Fouss,
• Abstract要約: ラベルバイアスと選択バイアスのいくつかのサブタイプが分類モデルの評価に与える影響を実験的に分析した。 公正な世界とそのバイアスのある世界をモデル化できるバイアスと評価のフレームワークを導入します。
• 参考スコア（独自算出の注目度）: 1.529342790344802
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Bias can be introduced in diverse ways in machine learning datasets, for example via selection or label bias. Although these bias types in themselves have an influence on important aspects of fair machine learning, their different impact has been understudied. In this work, we empirically analyze the effect of label bias and several subtypes of selection bias on the evaluation of classification models, on their performance, and on the effectiveness of bias mitigation methods. We also introduce a biasing and evaluation framework that allows to model fair worlds and their biased counterparts through the introduction of controlled bias in real-life datasets with low discrimination. Using our framework, we empirically analyze the impact of each bias type independently, while obtaining a more representative evaluation of models and mitigation methods than with the traditional use of a subset of biased data as test set. Our results highlight different factors that influence how impactful bias is on model performance. They also show an absence of trade-off between fairness and accuracy, and between individual and group fairness, when models are evaluated on a test set that does not exhibit unwanted bias. They furthermore indicate that the performance of bias mitigation methods is influenced by the type of bias present in the data. Our findings call for future work to develop more accurate evaluations of prediction models and fairness interventions, but also to better understand other types of bias, more complex scenarios involving the combination of different bias types, and other factors that impact the efficiency of the mitigation methods, such as dataset characteristics.
• Abstract（参考訳）: バイアスは、例えば選択やラベルバイアスを通じて、機械学習データセットでさまざまな方法で導入することができる。 これらのバイアスタイプ自体は、公正な機械学習の重要な側面に影響を与えているが、その異なる影響が検討されている。 本研究では,ラベルバイアスと選択バイアスのいくつかのサブタイプが,分類モデルの評価,性能,バイアス軽減手法の有効性に与える影響を実証的に分析する。 また、偏見の少ない実生活データセットに制御バイアスを導入することにより、公正な世界とその偏見をモデル化する偏見評価フレームワークも導入する。 本フレームワークでは,各バイアスタイプの影響を個別に分析し,モデルや緩和手法の代表的な評価値を得るとともに,従来の偏りデータのサブセットをテストセットとして使用することよりも,より代表的な評価値を得る。 私たちの結果は、モデルパフォーマンスに対する影響のあるバイアスに影響を及ぼすさまざまな要因を強調します。 また、不必要なバイアスを示さないテストセットでモデルを評価する場合、公正さと正確さ、および個人とグループ公正の間のトレードオフがないことを示す。 さらに、バイアス緩和法の性能は、データに存在するバイアスの種類に影響されることも示している。 我々の研究は、予測モデルと公正な介入のより正確な評価を開発するとともに、他の種類のバイアス、異なるバイアスタイプの組み合わせを含むより複雑なシナリオ、およびデータセット特性などの緩和手法の効率に影響を与える他の要因をより正確に理解するために、将来の研究を求めている。

関連論文リスト

• The Unfairness of Multifactorial Bias in Recommendation [68.35079031029616]
  人気バイアスと肯定バイアスは推薦システムにおいて顕著なバイアス源である。 本研究では,多因子バイアスが項目側の公平性にどのように影響するかを検討する。 我々は、多因子バイアスを軽減するために、パーセンタイルに基づく評価変換を前処理戦略として適用する。
  論文  参考訳（メタデータ） (2026-01-19T08:37:43Z)
• Understanding challenges to the interpretation of disaggregated evaluations of algorithmic fairness [49.35494016290887]
  関係する人口を表わすが、実世界の格差を反映するデータである場合、サブグループ間での平等なパフォーマンスは、信頼できない公平さの尺度であることを示す。 本フレームワークでは, 因果関係の明示的な仮定と分析を相補して, 相反や分布変化の制御を提案する。
  論文  参考訳（メタデータ） (2025-06-04T17:40:31Z)
• Improving Bias Mitigation through Bias Experts in Natural Language Understanding [10.363406065066538]
  補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。 提案手法は補助モデルのバイアス識別能力を向上させる。
  論文  参考訳（メタデータ） (2023-12-06T16:15:00Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• Echoes: Unsupervised Debiasing via Pseudo-bias Labeling in an Echo Chamber [17.034228910493056]
  本稿では,既存のバイアスモデルがトレーニングデータにおけるバイアス強調サンプルに過度に適合していることを明らかにする実験的検討を行った。 本研究では、バイアスモデルとターゲットモデルを異なる戦略で訓練するEchoesという、単純で効果的な手法を提案する。 提案手法は,既存の合成データセットと実世界のデータセットのベースラインと比較して,優れたデバイアス化結果が得られる。
  論文  参考訳（メタデータ） (2023-05-06T13:13:18Z)
• When mitigating bias is unfair: multiplicity and arbitrariness in algorithmic group fairness [8.367620276482056]
  本稿では,5次元によるバイアス緩和を評価するFRAME(FaiRness Arbitrariness and Multiplicity Evaluation)フレームワークを紹介する。 FRAMEをキーデータセット全体にわたる様々なバイアス緩和アプローチに適用することにより、デバイアス手法の挙動に顕著な違いを示すことができる。 これらの知見は、現在の公平性基準の限界と、偏見過程における固有の仲裁性を強調している。
  論文  参考訳（メタデータ） (2023-02-14T16:53:52Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Learning Debiased Models with Dynamic Gradient Alignment and Bias-conflicting Sample Mining [39.00256193731365]
  ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。 難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
  論文  参考訳（メタデータ） (2021-11-25T14:50:10Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Learning Debiased Representation via Disentangled Feature Augmentation [19.348340314001756]
  本稿では, 様々なバイアスを伴うサンプルを用いたトレーニングが, 脱バイアスに不可欠であることを示す実験的検討を行った。 本稿では, 多様なバイアス分散サンプルを合成するために, 特徴レベルのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。