論文の概要: Is Your Model "MADD"? A Novel Metric to Evaluate Algorithmic Fairness for Predictive Student Models

• arxiv url: http://arxiv.org/abs/2305.15342v1
• Date: Wed, 24 May 2023 16:55:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 14:11:53.595180
• Title: Is Your Model "MADD"? A Novel Metric to Evaluate Algorithmic Fairness for Predictive Student Models
• Title（参考訳）: あなたのモデルは"MADD"ですか? 予測的学生モデルのためのアルゴリズムフェアネス評価手法の提案
• Authors: M\'elina Verger, S\'ebastien Lall\'e, Fran\c{c}ois Bouchet, Vanda Luengo
• Abstract要約: 本稿では,モデルの識別行動を分析するために,モデル絶対密度距離(MADD)を提案する。 オンライン授業における学生の成功を予測するための共通課題に対するアプローチを,いくつかの共通予測分類モデルを用いて評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Predictive student models are increasingly used in learning environments due to their ability to enhance educational outcomes and support stakeholders in making informed decisions. However, predictive models can be biased and produce unfair outcomes, leading to potential discrimination against some students and possible harmful long-term implications. This has prompted research on fairness metrics meant to capture and quantify such biases. Nonetheless, so far, existing fairness metrics used in education are predictive performance-oriented, focusing on assessing biased outcomes across groups of students, without considering the behaviors of the models nor the severity of the biases in the outcomes. Therefore, we propose a novel metric, the Model Absolute Density Distance (MADD), to analyze models' discriminatory behaviors independently from their predictive performance. We also provide a complementary visualization-based analysis to enable fine-grained human assessment of how the models discriminate between groups of students. We evaluate our approach on the common task of predicting student success in online courses, using several common predictive classification models on an open educational dataset. We also compare our metric to the only predictive performance-oriented fairness metric developed in education, ABROCA. Results on this dataset show that: (1) fair predictive performance does not guarantee fair models' behaviors and thus fair outcomes, (2) there is no direct relationship between data bias and predictive performance bias nor discriminatory behaviors bias, and (3) trained on the same data, models exhibit different discriminatory behaviors, according to different sensitive features too. We thus recommend using the MADD on models that show satisfying predictive performance, to gain a finer-grained understanding on how they behave and to refine models selection and their usage.
• Abstract（参考訳）: 予測学習モデルは,教育成果の向上や利害関係者の支援などにより,学習環境においてますます活用されている。 しかし、予測モデルは偏りがあり、不公平な結果をもたらし、一部の学生に対する潜在的な差別と潜在的に有害な長期的影響をもたらす可能性がある。 このことは、そのようなバイアスを捕捉し定量化するための公正度メトリクスの研究を促している。 それにもかかわらず、教育で使われる既存の公平度指標は予測パフォーマンス指向であり、モデルの振る舞いや結果のバイアスの深刻さを考慮せずに、学生のグループ間での偏りのある結果を評価することに焦点を当てている。 そこで本研究では,予測性能から独立してモデルの識別行動を分析するために,モデル絶対密度距離(MADD)を提案する。 また,モデルが学生のグループ間でどのように区別されるかの詳細な人的評価を可能にするために,補完的な可視化に基づく分析も提供する。 オープン教育データセット上での予測分類モデルを用いて,オンラインコースにおける学生成功予測の共通課題に対するアプローチを評価した。 また、教育で開発された唯一の予測パフォーマンス指向公正度指標であるabrocaと比較した。 その結果,(1)公平な予測性能は,公平なモデルの行動を保証するものではない,(2)データバイアスと予測パフォーマンスバイアスと識別行動バイアスの間に直接的な関係がない,(3)同じデータで訓練されたモデルでは,異なる敏感な特徴によって異なる識別行動を示す,という結果が得られた。 そこで我々は,予測性能を満足するモデル上でMADDを使用することで,モデル選択とその使用方法のより詳細な理解を得ることを推奨する。

関連論文リスト

• Think Twice: Measuring the Efficiency of Eliminating Prediction Shortcuts of Question Answering Models [0.22940141855172028]
  言語モデル(LLM)は、言語理解タスクの大部分を占めている。 これまでの研究では、これらの結果のいくつかは、トレーニングデータセットの急激な相関をモデル化することによって裏付けられている。 そこで本研究では,任意の特徴量に対するモデルのスケール依存度を簡易に測定する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-11T14:35:00Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Counterfactual Fair Opportunity: Measuring Decision Model Fairness with Counterfactual Reasoning [5.626570248105078]
  本研究は,不注意条件下での公正な場合において,反実的推論を用いて不公平なモデル行動を明らかにすることを目的とする。 対物フェアという対物機会の対物バージョンを定義し、対物サンプルのセンシティブな情報を分析する2つの新しい指標を紹介した。
  論文  参考訳（メタデータ） (2023-02-16T09:13:53Z)
• Guide the Learner: Controlling Product of Experts Debiasing Method Based on Token Attribution Similarities [17.082695183953486]
  一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。 ここでは、バイアスドモデルが機能をショートカットする、という前提がある。 本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-06T15:21:41Z)
• Prisoners of Their Own Devices: How Models Induce Data Bias in Performative Prediction [4.874780144224057]
  偏見のあるモデルは、社会の特定のグループに不均等に害を与える決定を下すことができる。 多くの作業は静的ML環境での不公平さを測定することに費やされているが、動的でパフォーマンスのよい予測は行っていない。 本稿では,データのバイアスを特徴付ける分類法を提案する。
  論文  参考訳（メタデータ） (2022-06-27T10:56:04Z)
• Inducing bias is simpler than you think [17.34674438843937]
  マーガナライゼーションと不公平なグループ表現は、しばしば訓練に使用されるデータの中でトレース可能である。 データ不均衡の解決可能な高次元モデルを導入する。 私たちは、より現実的なデータで観察されるのと同じような不公平な行動を見つけます。
  論文  参考訳（メタデータ） (2022-05-31T16:27:57Z)
• SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
  本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。 提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
  論文  参考訳（メタデータ） (2022-04-11T14:42:54Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
  そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。 我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。 このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
  論文  参考訳（メタデータ） (2020-10-15T16:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。