論文の概要: Calibrated and uncertain? Evaluating uncertainty estimates in binary classification models
- arxiv url: http://arxiv.org/abs/2508.11460v1
- Date: Fri, 15 Aug 2025 13:17:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-18 14:51:23.962927
- Title: Calibrated and uncertain? Evaluating uncertainty estimates in binary classification models
- Title（参考訳）: 校正と不確実性?バイナリ分類モデルにおける不確実性推定の評価
- Authors: Aurora Grefsrud, Nello Blaser, Trygve Buanes,
- Abstract要約: 厳密な統計手法は、特に自然科学における科学的発見の妥当性を裏付けるものである。
我々は、ベイズ近似の統一的枠組みと、慎重に生成された合成分類データセットの実証実験を併用する。
アルゴリズムが、よく校正され、分布外データポイントの不確実性の増加を示すなど、一般的に望まれる特性を反映した不確実性推定を生成するかどうかを確認する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rigorous statistical methods, including parameter estimation with accompanying uncertainties, underpin the validity of scientific discovery, especially in the natural sciences. With increasingly complex data models such as deep learning techniques, uncertainty quantification has become exceedingly difficult and a plethora of techniques have been proposed. In this case study, we use the unifying framework of approximate Bayesian inference combined with empirical tests on carefully created synthetic classification datasets to investigate qualitative properties of six different probabilistic machine learning algorithms for class probability and uncertainty estimation: (i) a neural network ensemble, (ii) neural network ensemble with conflictual loss, (iii) evidential deep learning, (iv) a single neural network with Monte Carlo Dropout, (v) Gaussian process classification and (vi) a Dirichlet process mixture model. We check if the algorithms produce uncertainty estimates which reflect commonly desired properties, such as being well calibrated and exhibiting an increase in uncertainty for out-of-distribution data points. Our results indicate that all algorithms are well calibrated, but none of the deep learning based algorithms provide uncertainties that consistently reflect lack of experimental evidence for out-of-distribution data points. We hope our study may serve as a clarifying example for researchers developing new methods of uncertainty estimation for scientific data-driven modeling.
- Abstract（参考訳）: 不確実性を伴うパラメータ推定を含む厳密な統計手法は、特に自然科学における科学的発見の有効性を支えている。
深層学習技術のような複雑なデータモデルにより、不確実性の定量化は非常に難しくなり、多くの技術が提案されている。
このケーススタディでは、近似ベイズ推論の統一化フレームワークと、慎重に作成された合成分類データセットの実証テストを組み合わせて、クラス確率と不確実性推定のための6つの確率論的機械学習アルゴリズムの質的特性を調査する。
(i)ニューラルネットワークアンサンブル
(ii) 対立損失を伴うニューラルネットワークのアンサンブル
(三)明らかな深層学習
(iv)モンテカルロ・ドロップアウトを用いた単一ニューラルネットワーク
五 ガウス過程の分類及び分類
(vi)ディリクレプロセス混合モデル。
アルゴリズムが、よく校正され、分布外データポイントの不確実性の増加を示すなど、一般的に望まれる特性を反映した不確実性推定を生成するかどうかを確認する。
以上の結果から,全てのアルゴリズムが十分に校正されていることが示唆されるが,ディープラーニングに基づくアルゴリズムでは,アウト・オブ・ディストリビューションデータポイントに対する実験的証拠の欠如を一貫して反映する不確実性は得られない。
我々の研究は、科学的データ駆動モデリングのための新しい不確実性推定法を開発する研究者にとって、明らかな例となり得ることを願っている。
関連論文リスト
- Cooperative Bayesian and variance networks disentangle aleatoric and epistemic uncertainties [0.0]
実世界のデータは、不完全な測定やデータ生成プロセスに関する不完全な知識から生じる、アレラトリックな不確実性を含んでいる。
平均分散推定(MVE)ネットワークは、このような不確実性を学ぶことができるが、過度な適合を避けるためには、アドホックな正規化戦略を必要とする。
ベイズニューラルネットワークを用いて分散ネットワークを訓練し、その結果のモデルが平均推定を改善しつつ、アレタリックおよびてんかんの不確かさを解き放つことを示す。
論文 参考訳（メタデータ） (2025-05-05T15:50:52Z) - Evidential Deep Learning: Enhancing Predictive Uncertainty Estimation
for Earth System Science Applications [0.32302664881848275]
エビデンシャル・ディープ・ラーニング(Evidential Deep Learning)は、パラメトリック・ディープ・ラーニングを高次分布に拡張する手法である。
本研究では,明らかなニューラルネットワークから得られる不確実性とアンサンブルから得られる不確実性を比較する。
本研究では,従来の手法に匹敵する予測精度を実現するとともに,両方の不確実性源をしっかりと定量化しながら,明らかな深層学習モデルを示す。
論文 参考訳（メタデータ） (2023-09-22T23:04:51Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳（メタデータ） (2022-12-06T12:42:11Z) - Investigating the Impact of Model Misspecification in Neural
Simulation-based Inference [1.933681537640272]
本研究では,様々なモデルの誤識別が存在する場合のニューラルネットワークSBIアルゴリズムの挙動について検討する。
ミスセグメンテーションは、パフォーマンスに非常に有害な影響を及ぼす可能性があることに気付きました。
我々は、ニューラルネットワークSBIアルゴリズムが正確な結論を導出するために頼らなければならない場合、モデルの誤特定に対処するために新しいアプローチが必要であると結論付けた。
論文 参考訳（メタデータ） (2022-09-05T09:08:16Z) - The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。
我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
論文 参考訳（メタデータ） (2022-05-20T10:10:32Z) - Quantifying Epistemic Uncertainty in Deep Learning [15.494774321257939]
不確かさの定量化は、機械学習の信頼性と堅牢性の中核にある。
深層学習における不確実性,特にテクテプステミック成分を識別する理論的枠組みを提供する。
本稿では,これらの不確かさを推定する2つの手法を提案し,その1つは影響関数に基づくものであり,もう1つは変数に関するものである。
論文 参考訳（メタデータ） (2021-10-23T03:21:10Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳（メタデータ） (2020-12-05T17:30:35Z) - Learning Mixtures of Low-Rank Models [89.39877968115833]
低ランクモデルの計算混合を学習する問題について検討する。
ほぼ最適サンプルを用いて未知の行列を復元することが保証されるアルゴリズムを開発する。
さらに,提案アルゴリズムはランダムノイズに対して確実に安定である。
論文 参考訳（メタデータ） (2020-09-23T17:53:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。