論文の概要: On Measuring Calibration of Discrete Probabilistic Neural Networks

• arxiv url: http://arxiv.org/abs/2405.12412v1
• Date: Mon, 20 May 2024 23:30:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 14:47:55.553141
• Title: On Measuring Calibration of Discrete Probabilistic Neural Networks
• Title（参考訳）: 離散確率型ニューラルネットワークの校正について
• Authors: Spencer Young, Porter Jenkins,
• Abstract要約: 高次元確率分布を最大極大で適合させるニューラルネットワークの訓練は、不確実性定量化の有効な方法となっている。 expected Error (ECE) や Negative Log Likelihood (NLL) といった従来のメトリクスには制限がある。 本稿では,これらのバイアスや仮定を伴わずにキャリブレーションの誤差を測定するために,条件付きカーネル平均埋め込みを用いた新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 3.120856767382004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learning systems become increasingly integrated into real-world applications, accurately representing uncertainty is crucial for enhancing their safety, robustness, and reliability. Training neural networks to fit high-dimensional probability distributions via maximum likelihood has become an effective method for uncertainty quantification. However, such models often exhibit poor calibration, leading to overconfident predictions. Traditional metrics like Expected Calibration Error (ECE) and Negative Log Likelihood (NLL) have limitations, including biases and parametric assumptions. This paper proposes a new approach using conditional kernel mean embeddings to measure calibration discrepancies without these biases and assumptions. Preliminary experiments on synthetic data demonstrate the method's potential, with future work planned for more complex applications.
• Abstract（参考訳）: 機械学習システムが現実世界のアプリケーションにますます統合されるにつれて、その安全性、堅牢性、信頼性を高める上では、不確実性を正確に表現することが不可欠である。 高次元確率分布を最大極大で適合させるニューラルネットワークの訓練は、不確実性定量化の有効な方法となっている。 しかし、そのようなモデルはしばしばキャリブレーションが悪く、自信過剰な予測につながった。 expected Calibration Error (ECE) や Negative Log Likelihood (NLL) のような従来のメトリクスには、バイアスやパラメトリック仮定などの制限がある。 本稿では,これらのバイアスや仮定を伴わずにキャリブレーションの誤差を測定するために,条件付きカーネル平均埋め込みを用いた新しい手法を提案する。 合成データに関する予備的な実験は、この方法の可能性を示し、より複雑な応用に向けた今後の研究が計画されている。

関連論文リスト

• Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
  二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。 本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。 その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-06T19:53:00Z)
• Decoupling of neural network calibration measures [45.70855737027571]
  本稿では,AUSE(Area Under Sparsification Error curve)測定値に焦点をあてて,異なるニューラルネットワークキャリブレーション尺度の結合について検討する。 本稿では,現行の手法は自由度を保ち,安全クリティカルな機能のホモログ化のユニークなモデルを妨げると結論付けている。
  論文  参考訳（メタデータ） (2024-06-04T15:21:37Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibration-Aware Bayesian Learning [37.82259435084825]
  本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。 ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。 予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:15Z)
• Evaluating Aleatoric Uncertainty via Conditional Generative Models [15.494774321257939]
  本研究では,アレータティック不確実性推定のための条件生成モデルについて検討する。 本稿では,2つの条件分布間の差を測定するための2つの指標を提案する。 我々は,我々の測定値が条件分布の相違を正確に測定する方法を数値的に示す。
  論文  参考訳（メタデータ） (2022-06-09T05:39:04Z)
• Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
  キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。 物体検出校正のための最先端校正性能を実現する。
  論文  参考訳（メタデータ） (2021-09-21T10:53:16Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。