論文の概要: Toward Sufficient Statistical Power in Algorithmic Bias Assessment: A Test for ABROCA

• arxiv url: http://arxiv.org/abs/2501.04683v1
• Date: Wed, 08 Jan 2025 18:43:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:56:49.448798
• Title: Toward Sufficient Statistical Power in Algorithmic Bias Assessment: A Test for ABROCA
• Title（参考訳）: アルゴリズムバイアス評価における十分な統計的パワーを目指して:ABROCAの試行
• Authors: Conrad Borchers,
• Abstract要約: 本研究では,ABROCAの分布特性について検討し,その意義試験にロバストな手法を提案する。 本稿では,電力をシミュレートし,ABROCAを統計的にテストするオープンソースコードを提供することにより,EDM研究における信頼性の高い統計的テストを促進することを目的とする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Algorithmic bias is a pressing concern in educational data mining (EDM), as it risks amplifying inequities in learning outcomes. The Area Between ROC Curves (ABROCA) metric is frequently used to measure discrepancies in model performance across demographic groups to quantify overall model fairness. However, its skewed distribution--especially when class or group imbalances exist--makes significance testing challenging. This study investigates ABROCA's distributional properties and contributes robust methods for its significance testing. Specifically, we address (1) whether ABROCA follows any known distribution, (2) how to reliably test for algorithmic bias using ABROCA, and (3) the statistical power achievable with ABROCA-based bias assessments under typical EDM sample specifications. Simulation results confirm that ABROCA does not match standard distributions, including those suited to accommodate skewness. We propose nonparametric randomization tests for ABROCA and demonstrate that reliably detecting bias with ABROCA requires large sample sizes or substantial effect sizes, particularly in imbalanced settings. Findings suggest that ABROCA-based bias evaluation based on sample sizes common in EDM tends to be underpowered, undermining the reliability of conclusions about model fairness. By offering open-source code to simulate power and statistically test ABROCA, this paper aims to foster more reliable statistical testing in EDM research. It supports broader efforts toward replicability and equity in educational modeling.
• Abstract（参考訳）: アルゴリズムバイアス(英: Algorithmic bias)は、教育データマイニング(EDM)において、学習結果の不平等を増幅するリスクを負う問題である。 ROC曲線間距離(ABROCA)は、人口統計群間でのモデル性能の差を測り、全体モデル公正度を定量化するために頻繁に用いられる。 しかし、その歪んだ分布(特にクラスやグループの不均衡が存在する場合)は、テストが困難である。 本研究では,ABROCAの分布特性について検討し,その意義試験に頑健な手法を提案する。 具体的には,(1)ABROCAが既知の分布に従うか否か,(2)ABROCAを用いてアルゴリズムバイアスを確実にテストする方法,(3)典型的なEDMサンプル仕様に基づくABROCAに基づくバイアス評価で得られる統計的パワーについて述べる。 シミュレーションの結果、ABROCAは歪むのに適したものを含む標準分布と一致しないことが確認された。 ABROCAの非パラメトリックランダム化試験を提案し、特に不均衡な環境では、ABROCAによるバイアスを確実に検出するにはサンプルサイズが大きいか、実質的な効果サイズが必要であることを示した。 その結果,EDMに共通するサンプルサイズに基づくABROCAに基づくバイアス評価は低出力であり,モデルフェアネスに関する結論の信頼性を損なう傾向が示唆された。 本稿では,電力をシミュレートし,ABROCAを統計的にテストするオープンソースコードを提供することにより,EDM研究における信頼性の高い統計的テストを促進することを目的とする。 教育モデリングにおける再現性と公平性に対する幅広い取り組みを支援している。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Rethinking Relation Extraction: Beyond Shortcuts to Generalization with a Debiased Benchmark [53.876493664396506]
  ベンチマークは、機械学習アルゴリズムのパフォーマンスの評価、比較の促進、優れたソリューションの特定に不可欠である。 本稿では,関係抽出タスクにおけるエンティティバイアスの問題に対処する。 本稿では,エンティティの代替によって,エンティティ参照と関係型との擬似相関を破る不偏関係抽出ベンチマークDREBを提案する。 DREBの新たなベースラインを確立するために,データレベルとモデルトレーニングレベルを組み合わせたデバイアス手法であるMixDebiasを導入する。
  論文  参考訳（メタデータ） (2025-01-02T17:01:06Z)
• ABROCA Distributions For Algorithmic Bias Assessment: Considerations Around Interpretation [0.23020018305241333]
  本研究では, 絶対地域間距離の統計特性について検討する。 その結果,ABROCA分布は標本サイズ,AUC差,クラス不均衡に大きく依存することがわかった。
  論文  参考訳（メタデータ） (2024-11-28T12:05:58Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Assessing Bias in Metric Models for LLM Open-Ended Generation Bias Benchmarks [3.973239756262797]
  本研究では,BOLDやSAGEDといったオープンソースのベンチマークにおいて,そのようなバイアスについて検討する。 結果は、より堅牢なバイアスメトリックモデルを要求する、人口統計記述子の不平等な扱いを明らかにしている。
  論文  参考訳（メタデータ） (2024-10-14T20:08:40Z)
• The Mismeasure of Man and Models: Evaluating Allocational Harms in Large Language Models [22.75594773147521]
  大規模言語モデル(LLM)におけるバイアスから生じる潜在的アロケーション障害を評価するモデル非依存バイアス指標であるランクアロケーションベースバイアス指標(RABBI)を導入する。 その結果, 平均性能差と分布距離に基づく偏差測定では, 割り当て結果の集団差を確実に把握できないことがわかった。 私たちの研究は、限られたリソース制約のあるコンテキストでモデルがどのように使用されるかを説明する必要性を強調しています。
  論文  参考訳（メタデータ） (2024-08-02T14:13:06Z)
• MANO: Exploiting Matrix Norm for Unsupervised Accuracy Estimation Under Distribution Shifts [25.643876327918544]
  モデルのアウトプット、特にロジットを活用することは、トレーニング済みニューラルネットワークのテスト精度を、アウト・オブ・ディストリビューションのサンプルで推定する一般的なアプローチである。 実装の容易さと計算効率にもかかわらず、現在のロジットベースの手法は過信問題に弱いため、予測バイアスにつながる。 予測バイアスを低減するためにデータ依存正規化を適用したMaNoを提案し,正規化ロジットの行列の$L_p$ノルムを推定スコアとする。
  論文  参考訳（メタデータ） (2024-05-29T10:45:06Z)
• IBADR: an Iterative Bias-Aware Dataset Refinement Framework for Debiasing NLU models [52.03761198830643]
  IBADR(Iterative Bias-Aware dataset Refinement framework)を提案する。 まず、プール内のサンプルのバイアス度を定量化するために浅いモデルを訓練する。 次に、各サンプルにバイアス度を表すバイアス指標をペアにして、これらの拡張サンプルを使用してサンプルジェネレータを訓練する。 このようにして、このジェネレータは、バイアスインジケータとサンプルの対応関係を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-11-01T04:50:38Z)
• Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk Minimization Framework [12.734559823650887]
  分散シフトが存在する場合、公正な機械学習モデルはテストデータに対して不公平に振る舞うことがある。 既存のアルゴリズムはデータへの完全なアクセスを必要とし、小さなバッチを使用する場合には使用できない。 本稿では,因果グラフの知識を必要としない収束保証付き分布安定度フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-20T23:25:28Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。