論文の概要: Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models

• arxiv url: http://arxiv.org/abs/2401.10690v2
• Date: Fri, 5 Jul 2024 10:19:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 00:13:02.025206
• Title: Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models
• Title（参考訳）: RMSEとMAEを超えて: ダイアドレグレッションモデルにおける隠れバイアスと不公平を解き放つためのEAUCの導入
• Authors: Jorge Paz-Ruza, Amparo Alonso-Betanzos, Bertha Guijarro-Berdiñas, Brais Cancela, Carlos Eiras-Franco,
• Abstract要約: 個々の実体の観測値分布の非均一性は、最先端モデルにおける非常に偏りのある予測をもたらすことを示す。 我々は、Eccentricity-Area Under the Curve(EAUC)を、すべての研究されたモデルとデータセットで定量化できる新しい指標として紹介する。
• 参考スコア（独自算出の注目度）: 5.336076422485076
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Dyadic regression models, which predict real-valued outcomes for pairs of entities, are fundamental in many domains (e.g. predicting the rating of a user to a product in Recommender Systems) and promising and under exploration in many others (e.g. approximating the adequate dosage of a drug for a patient in personalized pharmacology). In this work, we demonstrate that non-uniformity in the observed value distributions of individual entities leads to severely biased predictions in state-of-the-art models, skewing predictions towards the average of observed past values for the entity and providing worse-than-random predictive power in eccentric yet equally important cases. We show that the usage of global error metrics like Root Mean Squared Error (RMSE) and Mean Absolute Error (MAE) is insufficient to capture this phenomenon, which we name eccentricity bias, and we introduce Eccentricity-Area Under the Curve (EAUC) as a new complementary metric that can quantify it in all studied models and datasets. We also prove the adequateness of EAUC by using naive de-biasing corrections to demonstrate that a lower model bias correlates with a lower EAUC and vice-versa. This work contributes a bias-aware evaluation of dyadic regression models to avoid potential unfairness and risks in critical real-world applications of such systems.
• Abstract（参考訳）: 例えば、Recommender Systemsの製品に対するユーザの評価を予測)や、他の多くの領域(例えば、パーソナライズされた薬理学の患者に対する薬物の適切な服用を近似する)において、多くの領域において基本的な回帰モデルである。 本研究では、個々の実体の観測値分布の非均一性は、最先端モデルにおける極めて偏りのある予測を導き、観測された過去の実体の観測値の平均に向かって予測し、偏心的かつ等しく重要な場合において、より悪いランダムな予測力を与えることを示した。 我々は、この現象を捉えるには、Root Mean Squared Error(RMSE)やMean Absolute Error(MAE)のようなグローバルエラーメトリクスの使用が不十分であることを示す。 また,非バイアス補正によるEAUCの妥当性を実証し,低次モデルバイアスが低次EAUCと逆逆の関係に相関していることを示す。 この研究は、これらのシステムの重要な実世界の応用における潜在的な不公平さやリスクを避けるために、偏見を考慮した回帰モデルの評価に寄与する。

関連論文リスト

• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• Biases in Inverse Ising Estimates of Near-Critical Behaviour [0.0]
  逆推論は、ペアワイズ相互作用を経験的相関から再構成することを可能にする。 Pseudo-likelihood (PLM) などの推定値に偏りが認められた。 データ駆動法は神経科学による機能的磁気共鳴イメージング(fMRI)データセットに研究され応用された。
  論文  参考訳（メタデータ） (2023-01-13T14:01:43Z)
• Bias-inducing geometries: an exactly solvable data model with fairness implications [13.690313475721094]
  我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。 この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。 フェアネス評価によく用いられる観測対象の正確な予測値を得る。
  論文  参考訳（メタデータ） (2022-05-31T16:27:57Z)
• Identifying and mitigating bias in algorithms used to manage patients in a pandemic [4.756860520861679]
  現実のデータセットを使用して、新型コロナウイルスの死亡率、人工呼吸器の状態、入院状態を予測するために、ロジスティック回帰モデルが作成された。 モデルではバイアス試験の回数が57%減少した。 キャリブレーション後, 予測モデルの平均感度は0.527から0.955に増加した。
  論文  参考訳（メタデータ） (2021-10-30T21:10:56Z)
• OMASGAN: Out-of-Distribution Minimum Anomaly Score GAN for Sample Generation on the Boundary [0.0]
  生成モデルは, アウト・オブ・ディストリビューション(OoD)サンプルに高い可能性と低い再構成損失を設定した。 OMASGANは、負のデータ増大方法で、推定分布境界上の異常サンプルを生成する。 OMASGANは、分布境界上に発生する異常最小値のOoDサンプルを含むことにより、再訓練を行う。
  論文  参考訳（メタデータ） (2021-10-28T16:35:30Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• Loss Estimators Improve Model Generalization [36.520569284970456]
  予測モデルと並行して損失推定器を訓練し,対照訓練目標を用いて予測の不確実性を直接推定する。 モデル一般化における損失推定器の影響を,その分布データに対する忠実度と,トレーニング中に見つからない分布サンプルや新しいクラスの検出能力の両方の観点から示す。
  論文  参考訳（メタデータ） (2021-03-05T16:35:10Z)
• UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
  我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。 非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
  論文  参考訳（メタデータ） (2020-10-22T02:28:11Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。