論文の概要: Rashomon Capacity: A Metric for Predictive Multiplicity in Probabilistic Classification

• arxiv url: http://arxiv.org/abs/2206.01295v1
• Date: Thu, 2 Jun 2022 20:44:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 06:35:15.939632
• Title: Rashomon Capacity: A Metric for Predictive Multiplicity in Probabilistic Classification
• Title（参考訳）: Rashomon Capacity:確率的分類における予測的多重性尺度
• Authors: Hsiang Hsu and Flavio du Pin Calmon
• Abstract要約: 予測多重性は、分類モデルが個々のサンプルに矛盾する予測を割り当てたときに発生する。 ラショモン容量と呼ばれる確率的分類における予測多重度の新しい尺度を導入する。 ラショモン・キャパシティは利害関係者に矛盾するモデルを開示するための原則的戦略をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 4.492630871726495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predictive multiplicity occurs when classification models with nearly indistinguishable average performances assign conflicting predictions to individual samples. When used for decision-making in applications of consequence (e.g., lending, education, criminal justice), models developed without regard for predictive multiplicity may result in unjustified and arbitrary decisions for specific individuals. We introduce a new measure of predictive multiplicity in probabilistic classification called Rashomon Capacity. Prior metrics for predictive multiplicity focus on classifiers that output thresholded (i.e., 0-1) predicted classes. In contrast, Rashomon Capacity applies to probabilistic classifiers, capturing more nuanced score variations for individual samples. We provide a rigorous derivation for Rashomon Capacity, argue its intuitive appeal, and demonstrate how to estimate it in practice. We show that Rashomon Capacity yields principled strategies for disclosing conflicting models to stakeholders. Our numerical experiments illustrate how Rashomon Capacity captures predictive multiplicity in various datasets and learning models, including neural networks. The tools introduced in this paper can help data scientists measure, report, and ultimately resolve predictive multiplicity prior to model deployment.
• Abstract（参考訳）: 予測多重性(predictive multiplicity)は、ほぼ識別不能な平均性能を持つ分類モデルが、個々のサンプルに矛盾する予測を割り当てるときに発生する。 結果の応用における意思決定(例えば、貸与、教育、刑事司法)に使用される場合、予測的多重性に留意せずに開発されたモデルは、特定の個人に対して不正かつ任意の決定をもたらす可能性がある。 ラショモン容量と呼ばれる確率的分類における予測多重度の新しい尺度を導入する。 予測多重性の先行指標は、しきい値(すなわち0-1)の予測クラスを出力する分類器に焦点を当てている。 対照的に、Rashomon Capacityは確率的分類器に適用され、個々のサンプルに対してより微妙なスコアのバリエーションをキャプチャする。 我々は,ラショモン能力の厳格な導出を行い,その直感的アピールを議論し,実際どのように推定するかを実証する。 ラショモン・キャパシティは利害関係者に矛盾するモデルを開示するための原則的戦略をもたらすことを示す。 数値実験により,ラショモン容量がニューラルネットワークを含む各種データセットおよび学習モデルにおける予測多重性をどのように捉えるかを示す。 この論文で導入されたツールは、データサイエンティストがモデル展開前に予測多重性を計測し、報告し、最終的に解決するのに役立つ。

関連論文リスト

• An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification [0.0]
  本稿では,ラショモン効果を用いた予測多重度に及ぼすバランス法の影響について検討する。 データ中心のAIにおける盲点モデル選択は、ほぼ同じ精度のモデルのセットからリスクが高いため、非常に重要です。
  論文  参考訳（メタデータ） (2024-03-22T13:08:22Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Dropout-Based Rashomon Set Exploration for Efficient Predictive Multiplicity Estimation [15.556756363296543]
  予測多重性(英: Predictive multiplicity)とは、ほぼ等しい最適性能を達成する複数の競合モデルを含む分類タスクを指す。 本稿では,Rashomon 集合のモデル探索にドロップアウト手法を利用する新しいフレームワークを提案する。 本手法は, 予測多重度推定の有効性の観点から, ベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-02-01T16:25:00Z)
• Deep Neural Network Benchmarks for Selective Classification [27.098996474946446]
  複数の選択的な分類フレームワークが存在し、その多くはディープニューラルネットワークアーキテクチャに依存している。 提案手法は,選択誤差率,経験的カバレッジ,拒否されたインスタンスのクラス分布,アウト・オブ・ディストリビューション・インスタンスの性能など,いくつかの基準を用いて評価する。
  論文  参考訳（メタデータ） (2024-01-23T12:15:47Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Predictive Multiplicity in Probabilistic Classification [25.111463701666864]
  確率的分類における予測的乗数性を測定するための枠組みを提案する。 実世界のタスクにおける予測多重度の発生頻度と頻度を実証する。 その結果,予測多重度をより広範囲に報告する必要性が強調された。
  論文  参考訳（メタデータ） (2022-06-02T16:25:29Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。