論文の概要: Is Your Model "MADD"? A Novel Metric to Evaluate Algorithmic Fairness for Predictive Student Models

• arxiv url: http://arxiv.org/abs/2305.15342v2
• Date: Fri, 21 Jul 2023 08:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-24 15:48:12.174134
• Title: Is Your Model "MADD"? A Novel Metric to Evaluate Algorithmic Fairness for Predictive Student Models
• Title（参考訳）: あなたのモデルは"MADD"ですか? 予測的学生モデルのためのアルゴリズムフェアネス評価手法の提案
• Authors: M\'elina Verger, S\'ebastien Lall\'e, Fran\c{c}ois Bouchet, Vanda Luengo
• Abstract要約: 本稿では,モデルの識別行動を分析するために,モデル絶対密度距離(MADD)を提案する。 オンライン授業における学生の成功を予測するための共通課題に対するアプローチを,いくつかの共通予測分類モデルを用いて評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Predictive student models are increasingly used in learning environments due to their ability to enhance educational outcomes and support stakeholders in making informed decisions. However, predictive models can be biased and produce unfair outcomes, leading to potential discrimination against some students and possible harmful long-term implications. This has prompted research on fairness metrics meant to capture and quantify such biases. Nonetheless, so far, existing fairness metrics used in education are predictive performance-oriented, focusing on assessing biased outcomes across groups of students, without considering the behaviors of the models nor the severity of the biases in the outcomes. Therefore, we propose a novel metric, the Model Absolute Density Distance (MADD), to analyze models' discriminatory behaviors independently from their predictive performance. We also provide a complementary visualization-based analysis to enable fine-grained human assessment of how the models discriminate between groups of students. We evaluate our approach on the common task of predicting student success in online courses, using several common predictive classification models on an open educational dataset. We also compare our metric to the only predictive performance-oriented fairness metric developed in education, ABROCA. Results on this dataset show that: (1) fair predictive performance does not guarantee fair models' behaviors and thus fair outcomes, (2) there is no direct relationship between data bias and predictive performance bias nor discriminatory behaviors bias, and (3) trained on the same data, models exhibit different discriminatory behaviors, according to different sensitive features too. We thus recommend using the MADD on models that show satisfying predictive performance, to gain a finer-grained understanding on how they behave and to refine models selection and their usage.
• Abstract（参考訳）: 予測学習モデルは,教育成果の向上や利害関係者の支援などにより,学習環境においてますます活用されている。 しかし、予測モデルは偏りがあり、不公平な結果をもたらし、一部の学生に対する潜在的な差別と潜在的に有害な長期的影響をもたらす可能性がある。 このことは、そのようなバイアスを捕捉し定量化するための公正度メトリクスの研究を促している。 それにもかかわらず、教育で使われる既存の公平度指標は予測パフォーマンス指向であり、モデルの振る舞いや結果のバイアスの深刻さを考慮せずに、学生のグループ間での偏りのある結果を評価することに焦点を当てている。 そこで本研究では,予測性能から独立してモデルの識別行動を分析するために,モデル絶対密度距離(MADD)を提案する。 また,モデルが学生のグループ間でどのように区別されるかの詳細な人的評価を可能にするために,補完的な可視化に基づく分析も提供する。 オープン教育データセット上での予測分類モデルを用いて,オンラインコースにおける学生成功予測の共通課題に対するアプローチを評価した。 また、教育で開発された唯一の予測パフォーマンス指向公正度指標であるabrocaと比較した。 その結果,(1)公平な予測性能は,公平なモデルの行動を保証するものではない,(2)データバイアスと予測パフォーマンスバイアスと識別行動バイアスの間に直接的な関係がない,(3)同じデータで訓練されたモデルでは,異なる敏感な特徴によって異なる識別行動を示す,という結果が得られた。 そこで我々は,予測性能を満足するモデル上でMADDを使用することで,モデル選択とその使用方法のより詳細な理解を得ることを推奨する。

関連論文リスト

• Fairness Evaluation with Item Response Theory [10.871079276188649]
  本稿では機械学習(ML)モデルにおける公平性を評価するための新しいFair-IRTフレームワークを提案する。 項目特性曲線(ICC)の詳細な説明は、特定の個人に対して提供される。 公平性評価ツールとしてのこのフレームワークの有効性を実証する実験を行った。
  論文  参考訳（メタデータ） (2024-10-20T22:25:20Z)
• A Fair Post-Processing Method based on the MADD Metric for Predictive Student Models [1.055551340663609]
  予測的学生モデルにおけるアルゴリズム的公正性を評価するために,新しい尺度が開発された。 本稿では,適切な予測モデルの結果の正確性を保ちつつ,公平性を向上することを目的とした後処理手法を提案する。 我々は、シミュレーションと実世界の教育データを用いて、オンラインコースにおける学生の成功を予測するタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-07-07T14:53:41Z)
• When Fairness Meets Privacy: Exploring Privacy Threats in Fair Binary Classifiers via Membership Inference Attacks [17.243744418309593]
  本研究では,公平度差分結果に基づく公平度向上モデルに対する効率的なMIA手法を提案する。 また、プライバシー漏洩を緩和するための潜在的戦略についても検討する。
  論文  参考訳（メタデータ） (2023-11-07T10:28:17Z)
• Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
  公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。 カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。 本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
  論文  参考訳（メタデータ） (2023-07-17T04:08:29Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Guide the Learner: Controlling Product of Experts Debiasing Method Based on Token Attribution Similarities [17.082695183953486]
  一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。 ここでは、バイアスドモデルが機能をショートカットする、という前提がある。 本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-06T15:21:41Z)
• Cross-model Fairness: Empirical Study of Fairness and Ethics Under Model Multiplicity [10.144058870887061]
  1つの予測器が等しく機能するモデルのグループからアドホックに選択された場合、個人は害を受ける可能性があると我々は主張する。 これらの不公平性は実生活で容易に発見でき、技術的手段だけで緩和することは困難である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-03-14T14:33:39Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。