論文の概要: ABROCA Distributions For Algorithmic Bias Assessment: Considerations Around Interpretation

• arxiv url: http://arxiv.org/abs/2411.19090v1
• Date: Thu, 28 Nov 2024 12:05:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:23.788532
• Title: ABROCA Distributions For Algorithmic Bias Assessment: Considerations Around Interpretation
• Title（参考訳）: アルゴリズムバイアス評価のためのABROCA分布:解釈に関する考察
• Authors: Conrad Borchers, Ryan S. Baker,
• Abstract要約: 本研究では, 絶対地域間距離の統計特性について検討する。 その結果,ABROCA分布は標本サイズ,AUC差,クラス不均衡に大きく依存することがわかった。
• 参考スコア（独自算出の注目度）: 0.23020018305241333
• License:
• Abstract: Algorithmic bias continues to be a key concern of learning analytics. We study the statistical properties of the Absolute Between-ROC Area (ABROCA) metric. This fairness measure quantifies group-level differences in classifier performance through the absolute difference in ROC curves. ABROCA is particularly useful for detecting nuanced performance differences even when overall Area Under the ROC Curve (AUC) values are similar. We sample ABROCA under various conditions, including varying AUC differences and class distributions. We find that ABROCA distributions exhibit high skewness dependent on sample sizes, AUC differences, and class imbalance. When assessing whether a classifier is biased, this skewness inflates ABROCA values by chance, even when data is drawn (by simulation) from populations with equivalent ROC curves. These findings suggest that ABROCA requires careful interpretation given its distributional properties, especially when used to assess the degree of bias and when classes are imbalanced.
• Abstract（参考訳）: アルゴリズムバイアスは、分析学習における重要な関心事であり続けている。 本研究では, 絶対交差領域(ABROCA)の統計特性について検討した。 この公平度尺度は、ROC曲線の絶対差を通して分類器性能の群レベル差を定量化する。 ABROCAは、ROC曲線(AUC)の全体値が類似している場合でも、ニュアンスのある性能差を検出するのに特に有用である。 ABROCAはAUCの違いやクラス分布など,様々な条件下でサンプリングされる。 その結果,ABROCA分布は標本サイズ,AUC差,クラス不均衡に大きく依存することがわかった。 分類器が偏りがあるかどうかを評価するとき、この歪みは、同等のROC曲線を持つ集団から(シミュレーションによって)データが引き出されたとしても、偶然にABROCA値を膨らませる。 これらの結果から,ABROCAは分布特性を考慮し,特に偏りの程度やクラスが不均衡である場合,慎重に解釈する必要があることが示唆された。

関連論文リスト

• Toward Sufficient Statistical Power in Algorithmic Bias Assessment: A Test for ABROCA [0.0]
  本研究では,ABROCAの分布特性について検討し,その意義試験にロバストな手法を提案する。 本稿では,電力をシミュレートし,ABROCAを統計的にテストするオープンソースコードを提供することにより,EDM研究における信頼性の高い統計的テストを促進することを目的とする。
  論文  参考訳（メタデータ） (2025-01-08T18:43:59Z)
• Exploring the Impact of Outlier Variability on Anomaly Detection Evaluation Metrics [4.943054375935879]
  本研究では,異なる条件下で広く使用されている3つの異常検出指標の挙動について検討する。 本稿では,これらの指標の従来の理解に挑戦し,様々な条件下でのニュアンスな行動を明らかにする。 本研究は、異常検出における計量選択と解釈のより洗練された理解に寄与し、この分野の研究者と実践者の両方に貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-09-24T11:39:09Z)
• Multiclass ROC [6.941573057921458]
  ペアワイズ・マルチクラス・True Positive Rate(TPR)とFalse Positive Rate(FPR)を要約した評価指標を提供する。 これらの分解ベクターに対する統合は、パフォーマンスに関する2値のAUC等価サマリを提供する。 提案手法をベンチマークデータセット上でのペア平均AUC統計値と比較した。
  論文  参考訳（メタデータ） (2024-04-19T19:25:10Z)
• Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
  本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。 信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
  論文  参考訳（メタデータ） (2023-01-25T19:35:23Z)
• Fairness via Adversarial Attribute Neighbourhood Robust Learning [49.93775302674591]
  本稿では,分類ヘッドを損なうために,UnderlineRobust underlineAdversarial underlineAttribute underlineNeighbourhood (RAAN)損失を原則として提案する。
  論文  参考訳（メタデータ） (2022-10-12T23:39:28Z)
• Learnable Distribution Calibration for Few-Shot Class-Incremental Learning [122.2241120474278]
  FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。 本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:40:26Z)
• Attributing AUC-ROC to Analyze Binary Classifier Performance [13.192005156790302]
  本稿では,AUC-ROC(Area Under the Receiver Operating Characteristics Curve)を人間の解釈可能な次元に沿って分割する手法について議論する。 AUC-ROCはデータサンプル上の加算/線形関数ではないので、AUC-ROC全体のセグメント化はデータセグメントのAUC-ROCの集計とは異なる。
  論文  参考訳（メタデータ） (2022-05-24T04:42:52Z)
• Accuracy on the Line: On the Strong Correlation Between Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
  分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。 具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。 また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
  論文  参考訳（メタデータ） (2021-07-09T19:48:23Z)
• Intra-Class Uncertainty Loss Function for Classification [6.523198497365588]
  特にアンバランスクラスを含むデータセットでは、クラス内の不確実性/可変性は考慮されない。 本フレームワークでは,各クラスの深いネットワークによって抽出された特徴を,独立なガウス分布によって特徴付ける。 提案手法は,より優れたクラス表現を学習することで,分類性能の向上を示す。
  論文  参考訳（メタデータ） (2021-04-12T09:02:41Z)
• Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
  選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:51:30Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。