論文の概要: Fairness Evaluation in Text Classification: Machine Learning Practitioner Perspectives of Individual and Group Fairness

• arxiv url: http://arxiv.org/abs/2303.00673v1
• Date: Wed, 1 Mar 2023 17:12:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 13:51:54.942035
• Title: Fairness Evaluation in Text Classification: Machine Learning Practitioner Perspectives of Individual and Group Fairness
• Title（参考訳）: テキスト分類におけるフェアネス評価:個人とグループフェアネスの機械学習実践者視点
• Authors: Zahra Ashktorab, Benjamin Hoover, Mayank Agarwal, Casey Dugan, Werner Geyer, Hao Bang Yang, Mikhail Yurochkin
• Abstract要約: モデルを評価するために使用する戦略を理解するために、機械学習の実践者たちと研究を行っている。 個人的経験を含む公平性評価戦略や,モデルの公正性をテストするために,ユーザがアイデンティティトークンのグループをどのように形成するかを見いだす。
• 参考スコア（独自算出の注目度）: 34.071324739205096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mitigating algorithmic bias is a critical task in the development and deployment of machine learning models. While several toolkits exist to aid machine learning practitioners in addressing fairness issues, little is known about the strategies practitioners employ to evaluate model fairness and what factors influence their assessment, particularly in the context of text classification. Two common approaches of evaluating the fairness of a model are group fairness and individual fairness. We run a study with Machine Learning practitioners (n=24) to understand the strategies used to evaluate models. Metrics presented to practitioners (group vs. individual fairness) impact which models they consider fair. Participants focused on risks associated with underpredicting/overpredicting and model sensitivity relative to identity token manipulations. We discover fairness assessment strategies involving personal experiences or how users form groups of identity tokens to test model fairness. We provide recommendations for interactive tools for evaluating fairness in text classification.
• Abstract（参考訳）: アルゴリズムバイアスの緩和は、機械学習モデルの開発とデプロイにおいて重要なタスクである。 機械学習の実践者が公平な問題に対処するのを助けるためのツールキットはいくつか存在するが、モデルフェアネスを評価するための戦略や、特にテキスト分類の文脈において、その評価に影響を与える要因についてはほとんど知られていない。 モデルの公正性を評価する2つの一般的なアプローチは、グループフェアネスと個人フェアネスである。 機械学習実践者(n=24)を対象に,モデル評価の戦略を理解するための研究を行った。 実践者(グループ対個人公正)に提示されたメトリクスは、彼らが公正と考えるモデルに影響を与える。 参加者は、アイデンティティトークン操作に対する過小評価/過大予測とモデルの感度に関連するリスクに焦点を当てた。 個人的経験を含む公平性評価戦略や,モデルの公正性をテストするために,ユーザがアイデンティティトークンのグループをどのように形成するかを見いだす。 テキスト分類における公平性を評価するためのインタラクティブツールの提案を行う。

関連論文リスト

• Fairness Evaluation with Item Response Theory [10.871079276188649]
  本稿では機械学習(ML)モデルにおける公平性を評価するための新しいFair-IRTフレームワークを提案する。 項目特性曲線(ICC)の詳細な説明は、特定の個人に対して提供される。 公平性評価ツールとしてのこのフレームワークの有効性を実証する実験を行った。
  論文  参考訳（メタデータ） (2024-10-20T22:25:20Z)
• TIDE: Textual Identity Detection for Evaluating and Augmenting Classification and Language Models [0.0]
  機械学習モデルは、不公平で不均衡なデータセットから意図しないバイアスを永続することができる。 分類器と言語モデルにおけるテキストの公平性を改善するためのアプローチと組み合わせたデータセットを提案する。 我々は、IDコンテキストの可用性向上に使用できるIDアノテーションと拡張ツールを開発するために、TIDALを活用している。
  論文  参考訳（メタデータ） (2023-09-07T21:44:42Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision [73.80009454050858]
  この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。 我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-15T07:13:54Z)
• Evaluation Gaps in Machine Learning Practice [13.963766987258161]
  実際に、機械学習モデルの評価は、しばしば、非文脈化された予測行動の狭い範囲に焦点を当てる。 評価対象の理想化された幅と実際の評価対象の狭い焦点との間の評価ギャップについて検討した。 これらの特性を研究することで、規範的な影響を持つコミットメントの範囲について、機械学習分野の暗黙の仮定を実証する。
  論文  参考訳（メタデータ） (2022-05-11T04:00:44Z)
• Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
  加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。 この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
  論文  参考訳（メタデータ） (2022-03-16T15:00:33Z)
• Measuring Fairness Under Unawareness of Sensitive Attributes: A Quantification-Based Approach [131.20444904674494]
  センシティブな属性の無意識下でのグループフェアネスを測定する問題に取り組む。 定量化手法は, フェアネスと無意識の問題に対処するのに特に適していることを示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:46Z)
• MultiFair: Multi-Group Fairness in Machine Learning [52.24956510371455]
  機械学習におけるマルチグループフェアネスの研究(MultiFair) この問題を解決するために,汎用的なエンドツーエンドのアルゴリズムフレームワークを提案する。 提案するフレームワークは多くの異なる設定に一般化可能である。
  論文  参考訳（メタデータ） (2021-05-24T02:30:22Z)
• Fairness by Explicability and Adversarial SHAP Learning [0.0]
  本稿では,外部監査役の役割とモデル説明可能性を強調するフェアネスの新たな定義を提案する。 逆代理モデルのSHAP値から構築した正規化を用いてモデルバイアスを緩和するフレームワークを開発する。 合成データセット、UCIアダルト(国勢調査)データセット、実世界の信用評価データセットである。
  論文  参考訳（メタデータ） (2020-03-11T14:36:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。