論文の概要: Fairness Evaluation with Item Response Theory
- arxiv url: http://arxiv.org/abs/2411.02414v1
- Date: Sun, 20 Oct 2024 22:25:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-10 12:31:21.399019
- Title: Fairness Evaluation with Item Response Theory
- Title（参考訳）: 項目応答理論による公正度評価
- Authors: Ziqi Xu, Sevvandi Kandanaarachchi, Cheng Soon Ong, Eirini Ntoutsi,
- Abstract要約: 本稿では機械学習(ML)モデルにおける公平性を評価するための新しいFair-IRTフレームワークを提案する。
項目特性曲線(ICC)の詳細な説明は、特定の個人に対して提供される。
公平性評価ツールとしてのこのフレームワークの有効性を実証する実験を行った。
- 参考スコア（独自算出の注目度）: 10.871079276188649
- License:
- Abstract: Item Response Theory (IRT) has been widely used in educational psychometrics to assess student ability, as well as the difficulty and discrimination of test questions. In this context, discrimination specifically refers to how effectively a question distinguishes between students of different ability levels, and it does not carry any connotation related to fairness. In recent years, IRT has been successfully used to evaluate the predictive performance of Machine Learning (ML) models, but this paper marks its first application in fairness evaluation. In this paper, we propose a novel Fair-IRT framework to evaluate a set of predictive models on a set of individuals, while simultaneously eliciting specific parameters, namely, the ability to make fair predictions (a feature of predictive models), as well as the discrimination and difficulty of individuals that affect the prediction results. Furthermore, we conduct a series of experiments to comprehensively understand the implications of these parameters for fairness evaluation. Detailed explanations for item characteristic curves (ICCs) are provided for particular individuals. We propose the flatness of ICCs to disentangle the unfairness between individuals and predictive models. The experiments demonstrate the effectiveness of this framework as a fairness evaluation tool. Two real-world case studies illustrate its potential application in evaluating fairness in both classification and regression tasks. Our paper aligns well with the Responsible Web track by proposing a Fair-IRT framework to evaluate fairness in ML models, which directly contributes to the development of a more inclusive, equitable, and trustworthy AI.
- Abstract（参考訳）: 項目応答理論(IRT)は、学生の能力の評価や、テスト質問の難易度や識別に広く用いられている。
この文脈において、差別とは、質問が能力レベルの異なる学生をいかに効果的に区別するかを指しており、公平性に関連する意味を一切持たない。
近年,IRTは機械学習(ML)モデルの予測性能評価に成功している。
本稿では,一組の個人に対する予測モデルの集合を評価するための新しいFair-IRTフレームワークを提案する。
さらに,これらのパラメータがフェアネス評価に与える影響を包括的に理解するための一連の実験を行った。
項目特性曲線(ICC)の詳細な説明は、特定の個人に対して提供される。
我々は、個人と予測モデルの間の不公平性を解消するために、ICCの平坦性を提案する。
公平性評価ツールとして,本フレームワークの有効性を実証した。
2つの実世界のケーススタディは、分類タスクと回帰タスクの両方における公平性を評価するためにその可能性を示している。
本稿では、より包括的で公平で信頼性の高いAIの開発に直接貢献する、MLモデルの公平性を評価するためのFair-IRTフレームワークを提案することにより、Responsible Webトラックとよく一致している。
関連論文リスト
- Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳（メタデータ） (2023-10-18T10:32:39Z) - Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。
カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。
本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
論文 参考訳（メタデータ） (2023-07-17T04:08:29Z) - Is Your Model "MADD"? A Novel Metric to Evaluate Algorithmic Fairness
for Predictive Student Models [0.0]
本稿では,モデルの識別行動を分析するために,モデル絶対密度距離(MADD)を提案する。
オンライン授業における学生の成功を予測するための共通課題に対するアプローチを,いくつかの共通予測分類モデルを用いて評価した。
論文 参考訳（メタデータ） (2023-05-24T16:55:49Z) - Counterfactually Fair Regression with Double Machine Learning [0.0]
本稿では,Double Machine Learning (DML) Fairnessを提案する。
回帰問題における反ファクト的公平性の問題を因果推論における反ファクト的結果の推定問題に類似させる。
本研究は、職場雇用における差別に関するシミュレーション研究におけるアプローチと、法学部学生のGPAを推定する実データへの適用を実証する。
論文 参考訳（メタデータ） (2023-03-21T01:28:23Z) - DualFair: Fair Representation Learning at Both Group and Individual
Levels via Contrastive Self-supervision [73.80009454050858]
この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。
我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
論文 参考訳（メタデータ） (2023-03-15T07:13:54Z) - Counterfactual Fair Opportunity: Measuring Decision Model Fairness with
Counterfactual Reasoning [5.626570248105078]
本研究は,不注意条件下での公正な場合において,反実的推論を用いて不公平なモデル行動を明らかにすることを目的とする。
対物フェアという対物機会の対物バージョンを定義し、対物サンプルのセンシティブな情報を分析する2つの新しい指標を紹介した。
論文 参考訳（メタデータ） (2023-02-16T09:13:53Z) - SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。
提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
論文 参考訳（メタデータ） (2022-04-11T14:42:54Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳（メタデータ） (2022-03-16T15:00:33Z) - Estimating and Improving Fairness with Adversarial Learning [65.99330614802388]
本研究では,深層学習に基づく医療画像解析システムにおけるバイアスの同時緩和と検出を目的としたマルチタスク・トレーニング戦略を提案する。
具体的には,バイアスに対する識別モジュールと,ベース分類モデルにおける不公平性を予測するクリティカルモジュールを追加することを提案する。
大規模で利用可能な皮膚病変データセットのフレームワークを評価します。
論文 参考訳（メタデータ） (2021-03-07T03:10:32Z) - FAIR: Fair Adversarial Instance Re-weighting [0.7829352305480285]
本研究では,公正な予測を確実にするインスタンス重み付け関数の学習に敵対的トレーニングを利用するFair Adrial Instance Re-weighting(FAIR)手法を提案する。
我々の知る限りでは、これは、個々のインスタンスの公平性に関する解釈可能な情報を提供する重み付け関数によって、再重み付けと逆方向のアプローチをマージする最初のモデルである。
論文 参考訳（メタデータ） (2020-11-15T10:48:56Z) - Fairness by Explicability and Adversarial SHAP Learning [0.0]
本稿では,外部監査役の役割とモデル説明可能性を強調するフェアネスの新たな定義を提案する。
逆代理モデルのSHAP値から構築した正規化を用いてモデルバイアスを緩和するフレームワークを開発する。
合成データセット、UCIアダルト(国勢調査)データセット、実世界の信用評価データセットである。
論文 参考訳（メタデータ） (2020-03-11T14:36:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。