論文の概要: Scoring Rules and Calibration for Imprecise Probabilities

• arxiv url: http://arxiv.org/abs/2410.23001v1
• Date: Wed, 30 Oct 2024 13:29:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:25:55.794258
• Title: Scoring Rules and Calibration for Imprecise Probabilities
• Title（参考訳）: 不正確な確率のスコーリング規則と校正
• Authors: Christian Fröhlich, Robert C. Williamson,
• Abstract要約: 我々は、適切なスコアリングルールとキャリブレーションが2つの異なるゴールを果たすと主張している。 本稿では,機械学習の実践における理論的洞察,特に分布ロバスト性における損失関数の選択に関する微妙な落とし穴を例示する。
• 参考スコア（独自算出の注目度）: 7.289672463326423
• License:
• Abstract: What does it mean to say that, for example, the probability for rain tomorrow is between 20% and 30%? The theory for the evaluation of precise probabilistic forecasts is well-developed and is grounded in the key concepts of proper scoring rules and calibration. For the case of imprecise probabilistic forecasts (sets of probabilities), such theory is still lacking. In this work, we therefore generalize proper scoring rules and calibration to the imprecise case. We develop these concepts as relative to data models and decision problems. As a consequence, the imprecision is embedded in a clear context. We establish a close link to the paradigm of (group) distributional robustness and in doing so provide new insights for it. We argue that proper scoring rules and calibration serve two distinct goals, which are aligned in the precise case, but intriguingly are not necessarily aligned in the imprecise case. The concept of decision-theoretic entropy plays a key role for both goals. Finally, we demonstrate the theoretical insights in machine learning practice, in particular we illustrate subtle pitfalls relating to the choice of loss function in distributional robustness.
• Abstract（参考訳）: 例えば、明日の雨の確率が20%から30%の間である、ということは何を意味するのだろうか? 正確な確率予測を評価する理論は十分に開発されており、適切なスコアリングルールとキャリブレーションの鍵となる概念に基づいている。 不正確な確率予測(確率のセット)の場合、そのような理論はいまだに不足している。 そこで本研究では,適切なスコアリングルールとキャリブレーションを不正確なケースに一般化する。 我々はこれらの概念をデータモデルや意思決定問題と比較して開発する。 結果として、インプレクションは明確な文脈に埋め込まれる。 我々は、(群)分布ロバスト性のパラダイムと密接なリンクを確立し、それを実現することで、それに対する新たな洞察を提供する。 我々は、適切なスコアリングルールとキャリブレーションが2つの異なるゴールを果たすと主張している。 決定論的エントロピーの概念は両目標にとって重要な役割を担っている。 最後に,機械学習の実践における理論的知見,特に分布ロバスト性における損失関数の選択に関する微妙な落とし穴を実演する。

関連論文リスト

• Beyond Calibration: Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence [2.2359781747539396]
  ディープネットワークは、しばしば過剰な自信と不一致な予測分布に悩まされる。 本稿では,条件付きカーネルの平均埋め込みを用いて,学習した予測分布とデータセットにおける経験的条件分布との距離を推定する,条件付きコングルーエンス誤差(CCE)について紹介する。 本研究では,1)データ生成プロセスが知られている場合の分布間の不一致を正確に定量化し,2)実世界の高次元画像回帰タスクに効果的にスケールし,3)未知のインスタンス上でのモデルの信頼性を評価することができることを示す。
  論文  参考訳（メタデータ） (2024-05-20T23:30:07Z)
• Quantifying Aleatoric and Epistemic Uncertainty with Proper Scoring Rules [19.221081896134567]
  不確実性表現と定量化は機械学習において最重要である。 本稿では,適切なスコアリングルールに基づいて,アレータリックおよび(現状)不確実性の定量化のための尺度を提案する。
  論文  参考訳（メタデータ） (2024-04-18T14:20:19Z)
• Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation [51.809741427975105]
  この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。 我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。 核の基準は既存の手法よりも正確で堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T13:30:48Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification [58.03725169462616]
  理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。 我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。 おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
  論文  参考訳（メタデータ） (2021-02-15T21:38:09Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)
• Estimation of Accurate and Calibrated Uncertainties in Deterministic models [0.8702432681310401]
  我々は,決定論的予測を確率論的予測に変換する手法を考案した。 そのためには,そのようなモデルの精度と信頼性(校正)を損なう必要がある。 隠れたノイズを正確に回収できる合成データと、大規模な実世界のデータセットの両方について、いくつかの例を示す。
  論文  参考訳（メタデータ） (2020-03-11T04:02:56Z)
• Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation [25.97333838935589]
  不確実性推定は、自律的なエージェントや人間の意思決定者が予測モデルを理解し、活用するのを助ける重要なツールである。 既存のアルゴリズムは確実性を過大評価し、予測モデルに誤った自信を与える可能性がある。
  論文  参考訳（メタデータ） (2020-02-29T20:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。