論文の概要: An Epistemic and Aleatoric Decomposition of Arbitrariness to Constrain the Set of Good Models

• arxiv url: http://arxiv.org/abs/2302.04525v2
• Date: Sat, 12 Jul 2025 07:10:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 15:29:03.371246
• Title: An Epistemic and Aleatoric Decomposition of Arbitrariness to Constrain the Set of Good Models
• Title（参考訳）: 良いモデルのセットを制約する動脈硬化症と動脈硬化症
• Authors: Falaah Arif Khan, Denys Herasymuk, Nazar Protsiv, Julia Stoyanovich,
• Abstract要約: 最近の研究では、機械学習(ML)モデルがトレーニング手順の微妙な変更に対して非常に敏感であることが示されている。 安定性は, てんかん成分と動脈成分に分解され, 予測の一貫性と信頼性を捉える。 そこで本研究では,既存の精度と公平性の基準と合わせて,てんかんおよび失読の基準を含むモデル選択手法を提案し,良質なモデルの集合を絞り込むことに成功したことを示す。
• 参考スコア（独自算出の注目度）: 7.620967781722717
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent research reveals that machine learning (ML) models are highly sensitive to minor changes in their training procedure, such as the inclusion or exclusion of a single data point, leading to conflicting predictions on individual data points; a property termed as arbitrariness or instability in ML pipelines in prior work. Drawing from the uncertainty literature, we show that stability decomposes into epistemic and aleatoric components, capturing the consistency and confidence in prediction, respectively. We use this decomposition to provide two main contributions. Our first contribution is an extensive empirical evaluation. We find that (i) epistemic instability can be reduced with more training data whereas aleatoric instability cannot; (ii) state-of-the-art ML models have aleatoric instability as high as 79% and aleatoric instability disparities among demographic groups as high as 29% in popular fairness benchmarks; and (iii) fairness pre-processing interventions generally increase aleatoric instability more than in-processing interventions, and both epistemic and aleatoric instability are highly sensitive to data-processing interventions and model architecture. Our second contribution is a practical solution to the problem of systematic arbitrariness. We propose a model selection procedure that includes epistemic and aleatoric criteria alongside existing accuracy and fairness criteria, and show that it successfully narrows down a large set of good models (50-100 on our datasets) to a handful of stable, fair and accurate ones. We built and publicly released a python library to measure epistemic and aleatoric multiplicity in any ML pipeline alongside existing confusion-matrix-based metrics, providing practitioners with a rich suite of evaluation metrics to use to define a more precise criterion during model selection.
• Abstract（参考訳）: 最近の研究では、機械学習(ML)モデルが、単一のデータポイントの挿入や除外といったトレーニング手順の微妙な変更に非常に敏感であることが判明している。 不確実性文献から, 安定性はてんかん成分と動脈成分に分解され, それぞれが予測の一貫性と信頼性を捉えていることを示す。 この分解を使って2つの主な貢献をします。 私たちの最初の貢献は広範な経験的評価です。 私たちはそれを見つける。 (i)聴力不安定性は、より多くのトレーニングデータで軽減することができるが、失調性は不可能である。 (II)最先端MLモデルでは,人口動態群で79%,人気公正度ベンチマークでは29%のアレータリック不安定性を有する。 三 公正な前処理の介入は、一般に、内処理の介入よりもアレタリック不安定を増大させ、また、エピステミックとアレタリック不安定は、データ処理の介入やモデルアーキテクチャに非常に敏感である。 第2の貢献は、体系的任意性の問題に対する実践的な解決策である。 本稿では, 既存の精度と公平性基準とともに, 疫学およびアレタリックな基準を含むモデル選択手順を提案し, 少数の安定的で公平で正確なモデルに, 多数の良いモデル(データセットでは50～100)を絞り込むことに成功した。 私たちは、既存の混乱行列ベースのメトリクスと並行して、MLパイプライン内のエピステミックとアレタリックの多重度を測定するために、ピソンライブラリを構築し、公開しました。

関連論文リスト

• CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk [7.755784217796677]
  2つの異なるパラメータを持つ校正法であるCLEARを提案する。 予測可能性-計算可能性-安定性フレームワークから引き出された(i)量子不確実性と(ii)アンサンブルに対して、(i)量子レグレッションでどのように使用できるかを示す。 CLEARは、個別に校正された2つのベースラインと比較して、インターバル幅の平均28.2%と17.4%の改善を実現している。
  論文  参考訳（メタデータ） (2025-07-10T20:13:00Z)
• Why Machine Learning Models Fail to Fully Capture Epistemic Uncertainty [1.6112718683989882]
  我々は、機械学習モデルにおいて、よりきめ細かな疫学的不確実性源の分類を利用する。 以上の結果から,高モデル偏見は誤認を招きかねない不確実性の推定に繋がる可能性が示唆された。 一般的な2階不確実性手法は、バイアスによって引き起こされた誤差をアレータリック推定に体系的に曖昧にする。
  論文  参考訳（メタデータ） (2025-05-29T14:50:46Z)
• Improving Omics-Based Classification: The Role of Feature Selection and Synthetic Data Generation [0.18846515534317262]
  本研究では,特徴選択とデータ拡張技術を統合した機械学習に基づく分類フレームワークを提案する。 提案したパイプラインは、小さなデータセット上で、相互に検証されたパーフォマンスが得られることを示す。
  論文  参考訳（メタデータ） (2025-05-06T10:09:50Z)
• Whence Is A Model Fair? Fixing Fairness Bugs via Propensity Score Matching [0.49157446832511503]
  サンプルデータのトレーニングやテストの方法がフェアネス指標の信頼性に影響を及ぼすかどうかを検討する。 トレーニングデータとテストセットは、しばしば同じ集団からランダムにサンプリングされるため、トレーニングデータに存在するバイアスは、テストデータにまだ存在する可能性がある。 偏見の評価と緩和に適合性スコアマッチングを適用した後処理法であるFairMatchを提案する。
  論文  参考訳（メタデータ） (2025-04-23T19:28:30Z)
• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Towards Better Certified Segmentation via Diffusion Models [62.21617614504225]
  セグメンテーションモデルは敵の摂動に弱いため、医療や自動運転といった重要な意思決定システムでの使用を妨げます。 近年,理論的保証を得るためにガウス雑音を入力に加えることにより,セグメント化予測のランダム化が提案されている。 本稿では,ランダムな平滑化と拡散モデルを組み合わせたセグメンテーション予測の問題に対処する。
  論文  参考訳（メタデータ） (2023-06-16T16:30:39Z)
• The Decaying Missing-at-Random Framework: Model Doubly Robust Causal Inference with Partially Labeled Data [8.916614661563893]
  因果推論を両立させるために,MARフレームワークの欠落と関連するアプローチを導入する。 これはラベル付け機構における選択バイアスとラベル付きグループとラベルなしグループの極端な不均衡に同時に対処する。 因果関係の堅牢性を確保するため,平均治療効果に対するバイアス低減SS推定器を提案する。
  論文  参考訳（メタデータ） (2023-05-22T07:37:12Z)
• Arbitrariness and Social Prediction: The Confounding Role of Variance in Fair Classification [31.392067805022414]
  異なる訓練されたモデル間での予測のばらつきは、公正なバイナリ分類における重要な、未探索のエラーの原因である。 実際には、いくつかのデータ例のばらつきは非常に大きいので、決定を効果的に任意にすることができる。 予測が任意である場合に分類を省略するアンサンブルアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-27T06:52:04Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Evaluating Aleatoric Uncertainty via Conditional Generative Models [15.494774321257939]
  本研究では,アレータティック不確実性推定のための条件生成モデルについて検討する。 本稿では,2つの条件分布間の差を測定するための2つの指標を提案する。 我々は,我々の測定値が条件分布の相違を正確に測定する方法を数値的に示す。
  論文  参考訳（メタデータ） (2022-06-09T05:39:04Z)
• Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
  本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。 提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T10:49:49Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Model Mis-specification and Algorithmic Bias [0.0]
  機械学習アルゴリズムは、批判的な決定を伝えるためにますます使われています。 偏見に対する懸念が高まっており、アルゴリズムは異なる人口集団の個人に対して不均一な結果をもたらす可能性がある。 本研究では,グループ間の平均予測誤差の差として偏差を測定する。
  論文  参考訳（メタデータ） (2021-05-31T17:45:12Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• The statistical advantage of automatic NLG metrics at the system level [10.540821585237222]
  統計的には、人間は偏りがなく、高分散推定器であり、メトリクスは偏りがあり、低分散推定器である。 ブートストラップを用いて、これらの推定器の誤差をペアワイズ予測(どの生成システムが優れているか?)で比較する。 分析では,測定値の補正誤差を人間と完全セグメントレベルのアノテータと比較した。
  論文  参考訳（メタデータ） (2021-05-26T09:53:57Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)
• Is Your Classifier Actually Biased? Measuring Fairness under Uncertainty with Bernstein Bounds [21.598196899084268]
  我々は、偏差推定の不確かさを信頼区間としてベルンシュタイン境界を用いて表現する。 95%の信頼区間が真のバイアスを常に束縛しているという経験的証拠を提供する。 以上の結果から,現在偏差を測定するために使用されているデータセットは,最も厳密な場合を除き,偏差を確定的に識別するには小さすぎることが示唆された。
  論文  参考訳（メタデータ） (2020-04-26T09:45:45Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Recovering from Biased Data: Can Fairness Constraints Improve Accuracy? [11.435833538081557]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、バイアスがあるだけでなく、真のデータ分布に最適な精度を持つ分類器を生成する。 公平性に制約されたERMによるこの問題の是正能力について検討する。 また、トレーニングデータの再重み付け、等化オッド、復号化パリティなど、他のリカバリ手法についても検討する。
  論文  参考訳（メタデータ） (2019-12-02T22:00:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。