論文の概要: Predictive Multiplicity in Probabilistic Classification

• arxiv url: http://arxiv.org/abs/2206.01131v3
• Date: Fri, 23 Jun 2023 19:12:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 01:15:56.458124
• Title: Predictive Multiplicity in Probabilistic Classification
• Title（参考訳）: 確率的分類における予測多重性
• Authors: Jamelle Watson-Daniels, David C. Parkes and Berk Ustun
• Abstract要約: 確率的分類における予測的乗数性を測定するための枠組みを提案する。 実世界のタスクにおける予測多重度の発生頻度と頻度を実証する。 その結果,予測多重度をより広範囲に報告する必要性が強調された。
• 参考スコア（独自算出の注目度）: 25.111463701666864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning models are often used to inform real world risk assessment tasks: predicting consumer default risk, predicting whether a person suffers from a serious illness, or predicting a person's risk to appear in court. Given multiple models that perform almost equally well for a prediction task, to what extent do predictions vary across these models? If predictions are relatively consistent for similar models, then the standard approach of choosing the model that optimizes a penalized loss suffices. But what if predictions vary significantly for similar models? In machine learning, this is referred to as predictive multiplicity i.e. the prevalence of conflicting predictions assigned by near-optimal competing models. In this paper, we present a framework for measuring predictive multiplicity in probabilistic classification (predicting the probability of a positive outcome). We introduce measures that capture the variation in risk estimates over the set of competing models, and develop optimization-based methods to compute these measures efficiently and reliably for convex empirical risk minimization problems. We demonstrate the incidence and prevalence of predictive multiplicity in real-world tasks. Further, we provide insight into how predictive multiplicity arises by analyzing the relationship between predictive multiplicity and data set characteristics (outliers, separability, and majority-minority structure). Our results emphasize the need to report predictive multiplicity more widely.
• Abstract（参考訳）: 機械学習モデルは、消費者のデフォルトリスクの予測、深刻な病気に苦しむかどうかの予測、法廷に出廷するリスクの予測など、現実世界のリスクアセスメントタスクに使用されることが多い。 予測タスクに対してほぼ等しく機能する複数のモデルを考えると、これらのモデルでどの程度予測が変化するのか? もし予測が類似のモデルに対して比較的一貫性があるなら、ペナルティ化された損失を最適化するモデルを選択する標準的なアプローチである。 しかし、同様のモデルで予測が大幅に異なる場合はどうだろう? 機械学習では、これは予測多重性(英: predictive multiplicity)と呼ばれる。 本稿では,確率的分類(正の結果の確率を推定する)における予測重複度を測定するための枠組みを提案する。 競合するモデルの集合におけるリスク推定の変動を捉える尺度を導入し、これらの指標を効率的かつ確実に計算する最適化手法を開発した。 実世界のタスクにおける予測多重度の発生頻度と頻度を示す。 さらに,予測多重度とデータセット特性(アウトレーヤ,分離性,多数少数性構造)の関係を解析することにより,予測多重度がどのように生じるのかを考察する。 本研究は,予測多重性をより広く報告する必要性を強調する。

関連論文リスト

• Reconciling Model Multiplicity for Downstream Decision Making [24.335927243672952]
  2つの予測モデルがほぼ至るところでそれぞれの予測にほぼ一致しているとしても、最も応答性の高い行動が人口のかなりの部分で相違していることが示される。 本稿では,下流決定問題と個別確率予測の両方に関して,予測モデルを校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:36:46Z)
• An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification [0.0]
  本稿では,ラショモン効果を用いた予測多重度に及ぼすバランス法の影響について検討する。 データ中心のAIにおける盲点モデル選択は、ほぼ同じ精度のモデルのセットからリスクが高いため、非常に重要です。
  論文  参考訳（メタデータ） (2024-03-22T13:08:22Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
  機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。 本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:28:43Z)
• Rashomon Capacity: A Metric for Predictive Multiplicity in Probabilistic Classification [4.492630871726495]
  予測多重性は、分類モデルが個々のサンプルに矛盾する予測を割り当てたときに発生する。 ラショモン容量と呼ばれる確率的分類における予測多重度の新しい尺度を導入する。 ラショモン・キャパシティは利害関係者に矛盾するモデルを開示するための原則的戦略をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T20:44:19Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。