論文の概要: Towards Fair and Calibrated Models

• arxiv url: http://arxiv.org/abs/2310.10399v1
• Date: Mon, 16 Oct 2023 13:41:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 14:18:52.171000
• Title: Towards Fair and Calibrated Models
• Title（参考訳）: 公正モデルと校正モデルに向けて
• Authors: Anand Brahmbhatt, Vipul Rathore, Mausam and Parag Singla
• Abstract要約: フェアネスの特定の定義と密接に一致している[ビスワなど2019年]。 公平かつ校正されたモデルを達成するための既存の否定的な結果が、公平性の定義に当てはまらないことを示す。 本研究では, グループワイドキャリブレーションを行うための既存のキャリブレーション損失の修正を提案し, 公平かつキャリブレーションされたモデルを実現する方法を提案する。
• 参考スコア（独自算出の注目度）: 26.74017047721052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent literature has seen a significant focus on building machine learning models with specific properties such as fairness, i.e., being non-biased with respect to a given set of attributes, calibration i.e., model confidence being aligned with its predictive accuracy, and explainability, i.e., ability to be understandable to humans. While there has been work focusing on each of these aspects individually, researchers have shied away from simultaneously addressing more than one of these dimensions. In this work, we address the problem of building models which are both fair and calibrated. We work with a specific definition of fairness, which closely matches [Biswas et. al. 2019], and has the nice property that Bayes optimal classifier has the maximum possible fairness under our definition. We show that an existing negative result towards achieving a fair and calibrated model [Kleinberg et. al. 2017] does not hold for our definition of fairness. Further, we show that ensuring group-wise calibration with respect to the sensitive attributes automatically results in a fair model under our definition. Using this result, we provide a first cut approach for achieving fair and calibrated models, via a simple post-processing technique based on temperature scaling. We then propose modifications of existing calibration losses to perform group-wise calibration, as a way of achieving fair and calibrated models in a variety of settings. Finally, we perform extensive experimentation of these techniques on a diverse benchmark of datasets, and present insights on the pareto-optimality of the resulting solutions.
• Abstract（参考訳）: 近年の文献では、与えられた属性のセット、キャリブレーション(キャリブレーション)、予測精度に適合するモデルの信頼性、説明可能性、すなわち人間に理解できる能力など、特定の特性を持つ機械学習モデルの構築に重要な焦点が当てられている。 それぞれの側面に個別に焦点をあてる研究はあったが、研究者はこれらの次元の1つ以上を同時に扱うことは避けてきた。 本研究では,公平かつ校正されたモデルの構築の問題に対処する。 私たちは、[biswas et. al. 2019]と密接に一致する特定のフェアネスの定義に取り組んでおり、ベイズ最適分類器が定義の下で最大フェアネスを持つという素晴らしい性質を持っています。 我々は、公正で校正されたモデル(Kleinberg et. al. 2017)を達成するための既存の否定的な結果が、公正性の定義に当てはまらないことを示す。 さらに,センシティブな属性に対するグループ的なキャリブレーションの確保が,我々の定義の下では公平なモデルとなることを示す。 この結果を用いて、温度スケーリングに基づく簡単な後処理技術を用いて、公平で校正されたモデルを実現するための最初のカット手法を提供する。 次に,既存のキャリブレーション損失の修正を行い,グループ毎のキャリブレーションを行い,様々な環境で公平かつ校正されたモデルを実現する方法を提案する。 最後に,これらの手法を多種多様なデータセットのベンチマークで広範囲に実験し,その結果の最適性について考察する。

関連論文リスト

• Understanding trade-offs in classifier bias with quality-diversity optimization: an application to talent management [2.334978724544296]
  公正なAIモデルを開発する上での大きな課題は、そのようなモデルをトレーニングする上で利用可能なデータのバイアスにある。 本稿では,データセットに固有のバイアスを可視化し,公平性と正確性の間の潜在的なトレードオフを理解する方法を提案する。
  論文  参考訳（メタデータ） (2024-11-25T22:14:02Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Classes Are Not Equal: An Empirical Study on Image Recognition Fairness [100.36114135663836]
  我々は,クラスが等しくないことを実験的に証明し,様々なデータセットにまたがる画像分類モデルにおいて,公平性の問題が顕著であることを示した。 以上の結果から,モデルでは認識が困難であるクラスに対して,予測バイアスが大きくなる傾向が示唆された。 データ拡張および表現学習アルゴリズムは、画像分類のある程度の公平性を促進することにより、全体的なパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T07:54:50Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• DualFair: Fair Representation Learning at Both Group and Individual Levels via Contrastive Self-supervision [73.80009454050858]
  この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。 我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-15T07:13:54Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Simultaneous Improvement of ML Model Fairness and Performance by Identifying Bias in Data [1.76179873429447]
  トレーニング前にデータセットから削除すべき特定の種類のバイアスを記述したインスタンスを検出できるデータ前処理手法を提案する。 特に、類似した特徴を持つインスタンスが存在するが、保護属性の変動に起因するラベルが異なる問題設定では、固有のバイアスがデータセット内で引き起こされる、と主張する。
  論文  参考訳（メタデータ） (2022-10-24T13:04:07Z)
• Fairly Accurate: Learning Optimal Accuracy vs. Fairness Tradeoffs for Hate Speech Detection [8.841221697099687]
  本稿では,モデルトレーニングにおけるグループフェアネスの直接最適化を可能にする,微分可能な尺度を提案する。 ヘイトスピーチ検出の特定のタスクについて,本手法の評価を行った。 畳み込み、シーケンシャル、トランスフォーマーに基づくニューラルネットワークによる実験結果は、事前の作業よりも経験的精度が優れている。
  論文  参考訳（メタデータ） (2022-04-15T22:11:25Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。