論文の概要: Does calibration mean what they say it means; or, the reference class problem rises again

• arxiv url: http://arxiv.org/abs/2412.16769v1
• Date: Sat, 21 Dec 2024 20:50:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:11.212843
• Title: Does calibration mean what they say it means; or, the reference class problem rises again
• Title（参考訳）: 校正は彼らが何を言っているかを意味するのか; または、参照クラス問題は再び上昇する
• Authors: Lily Hu,
• Abstract要約: グループキャリブレーションスコアは、異なるグループの個人に対して"平均的に同じもの"である。 キャリブレーションは、同じ意味の絵が公正のために重要なことを意味しているような一貫性のあるスコア解釈を保証できない。 この誤差の起源を反映して、アルゴリズムの公正性において支配的な方法論により大きなレンズを開放する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Discussions of statistical criteria for fairness commonly convey the normative significance of calibration within groups by invoking what risk scores "mean." On the Same Meaning picture, group-calibrated scores "mean the same thing" (on average) across individuals from different groups and accordingly, guard against disparate treatment of individuals based on group membership. My contention is that calibration guarantees no such thing. Since concrete actual people belong to many groups, calibration cannot ensure the kind of consistent score interpretation that the Same Meaning picture implies matters for fairness, unless calibration is met within every group to which an individual belongs. Alas only perfect predictors may meet this bar. The Same Meaning picture thus commits a reference class fallacy by inferring from calibration within some group to the "meaning" or evidential value of an individual's score, because they are a member of that group. Furthermore, the reference class answer it presumes is almost surely wrong. I then show that the reference class problem besets not just calibration but all group statistical facts that claim a close connection to fairness. Reflecting on the origins of this error opens a wider lens onto the predominant methodology in algorithmic fairness based on stylized cases.
• Abstract（参考訳）: 公正性の統計的基準に関する議論は、リスクスコアが「平均」であることを示すことによって、グループ内での校正の規範的重要性を一般的に伝達する。 同じ意味の絵では、グループキャリブレーションされたスコアは、異なるグループの個人間で(平均的に)「同じもの」であり、グループメンバーシップに基づいて個人が異なる扱いを受けるのを防ぐ。 私の主張は、キャリブレーションはそのようなことを保証しないということです。 具体的な実際の人々は多くのグループに属しているため、キャリブレーションは、個人が属するすべてのグループ内でキャリブレーションが満たさない限り、同じ意味の絵が公平な問題を意味するような一貫したスコア解釈を保証することはできない。 残念ながら、このバーに合うのは完璧な予測器だけです。 したがって、同じ意味の絵は、あるグループ内のキャリブレーションから、そのグループのメンバーであるため、個人のスコアの「意味」または「明快な値」に推論することで、参照クラスの誤りを犯す。 さらに、それが想定する参照クラス答えは、ほぼ確実に間違っている。 次に、参照クラス問題は、キャリブレーションだけでなく、フェアネスと密接な関係を主張するすべてのグループ統計事実に設定されていることを示す。 この誤差の起源を反映して、スタイリングされたケースに基づいたアルゴリズム的公正性において、より広いレンズが支配的な方法論に開放される。

関連論文リスト

• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• A Universal Unbiased Method for Classification from Aggregate Observations [115.20235020903992]
  本稿では,任意の損失に対する分類リスクを非バイアスで推定するCFAOの普遍的手法を提案する。 提案手法は,非バイアスリスク推定器によるリスクの整合性を保証するだけでなく,任意の損失に対応できる。
  論文  参考訳（メタデータ） (2023-06-20T07:22:01Z)
• On Fairness and Stability: Is Estimator Variance a Friend or a Foe? [6.751310968561177]
  分散度におけるグループワイドパリティに基づく新しいパフォーマンス指標群を提案する。 フェアネス分析による不確実性定量化手法を再現したオープンソースライブラリを開発し,リリースする。
  論文  参考訳（メタデータ） (2023-02-09T09:35:36Z)
• On the Richness of Calibration [10.482805367361818]
  キャリブレーションスコアを設計する際の選択肢を明確にします。 これらを3つのグループ選択と,グループエラーの集約に関する選択にまとめる。 特に、予測ではなく、入力特徴に基づいてデータポイントをグループ化する可能性について検討する。 グループ化の適切な選択により、これらの新しいグローバルフェアネススコアは(サブ)グループや個人フェアネスの概念を提供することができることを実証する。
  論文  参考訳（メタデータ） (2023-02-08T15:19:46Z)
• Stop Measuring Calibration When Humans Disagree [25.177984280183402]
  本研究は, 理論的に不一致を考慮に入れたヒトの多数派に対する校正の基準が問題であることを示す。 人間の判断の重要な統計特性を捉えた校正の事例レベル尺度を導出する。
  論文  参考訳（メタデータ） (2022-10-28T14:01:32Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Is calibration a fairness requirement? An argument from the point of view of moral philosophy and decision theory [0.0]
  グループキャリブレーション違反は不公平な場合もあるが、不公平な場合もある。 これは、既に文献で進歩している主張と一致しており、アルゴリズム的公正性は文脈に敏感な方法で定義されるべきである。
  論文  参考訳（メタデータ） (2022-05-11T14:03:33Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
  選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:51:30Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。