論文の概要: On Measuring Calibration of Discrete Probabilistic Neural Networks

• arxiv url: http://arxiv.org/abs/2405.12412v1
• Date: Mon, 20 May 2024 23:30:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-22 14:47:55.553141
• Title: On Measuring Calibration of Discrete Probabilistic Neural Networks
• Title（参考訳）: 離散確率型ニューラルネットワークの校正について
• Authors: Spencer Young, Porter Jenkins,
• Abstract要約: 高次元確率分布を最大極大で適合させるニューラルネットワークの訓練は、不確実性定量化の有効な方法となっている。 expected Error (ECE) や Negative Log Likelihood (NLL) といった従来のメトリクスには制限がある。 本稿では,これらのバイアスや仮定を伴わずにキャリブレーションの誤差を測定するために,条件付きカーネル平均埋め込みを用いた新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 3.120856767382004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As machine learning systems become increasingly integrated into real-world applications, accurately representing uncertainty is crucial for enhancing their safety, robustness, and reliability. Training neural networks to fit high-dimensional probability distributions via maximum likelihood has become an effective method for uncertainty quantification. However, such models often exhibit poor calibration, leading to overconfident predictions. Traditional metrics like Expected Calibration Error (ECE) and Negative Log Likelihood (NLL) have limitations, including biases and parametric assumptions. This paper proposes a new approach using conditional kernel mean embeddings to measure calibration discrepancies without these biases and assumptions. Preliminary experiments on synthetic data demonstrate the method's potential, with future work planned for more complex applications.
• Abstract（参考訳）: 機械学習システムが現実世界のアプリケーションにますます統合されるにつれて、その安全性、堅牢性、信頼性を高める上では、不確実性を正確に表現することが不可欠である。 高次元確率分布を最大極大で適合させるニューラルネットワークの訓練は、不確実性定量化の有効な方法となっている。 しかし、そのようなモデルはしばしばキャリブレーションが悪く、自信過剰な予測につながった。 expected Calibration Error (ECE) や Negative Log Likelihood (NLL) のような従来のメトリクスには、バイアスやパラメトリック仮定などの制限がある。 本稿では,これらのバイアスや仮定を伴わずにキャリブレーションの誤差を測定するために,条件付きカーネル平均埋め込みを用いた新しい手法を提案する。 合成データに関する予備的な実験は、この方法の可能性を示し、より複雑な応用に向けた今後の研究が計画されている。

関連論文リスト

• Geometric Calibration and Neutral Zones for Uncertainty-Aware Multi-Class Classification [0.0]
  この研究は情報幾何学と統計的学習を橋渡しし、厳密な検証を必要とするアプリケーションにおいて不確実性を認識した分類の正式な保証を提供する。 アデノ関連ウイルスの分類に関する実証的な検証は、2段階のフレームワークが72.5%のエラーをキャプチャし、34.5%のサンプルを遅延させ、自動決定エラー率を16.8%から6.9%に下げていることを示している。
  論文  参考訳（メタデータ） (2025-11-26T01:29:49Z)
• CCE: Confidence-Consistency Evaluation for Time Series Anomaly Detection [56.302586730134806]
  本稿では,新しい評価指標である信頼性・一貫性評価(CCE)を紹介する。 CCEは同時に、予測の信頼性と不確実性を測定する。 RankEvalは、さまざまなメトリクスのランキング機能を比較するためのベンチマークです。
  論文  参考訳（メタデータ） (2025-09-01T03:38:38Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• When Can We Reuse a Calibration Set for Multiple Conformal Predictions? [0.0]
  我々は,e-conformal predictionとHoeffdingの不等式が組み合わさって,単一校正集合の繰り返し使用を可能にすることを示す。 我々は、ディープニューラルネットワークをトレーニングし、キャリブレーションセットを使用して、Hoeffdingの補正を推定する。 この補正により、修正マルコフの不等式を適用することができ、定量化された信頼度を持つ予測セットを構築することができる。
  論文  参考訳（メタデータ） (2025-06-24T14:57:25Z)
• Pointwise confidence estimation in the non-linear $\ell^2$-regularized least squares [12.352761060862072]
  固定設計による $ell2$-regularized 非線形最小二乗集合の高確率非漸近信頼度推定について検討する。 つまり、任意の固定テスト入力に対して$x$の予測を保持することを意味する。
  論文  参考訳（メタデータ） (2025-06-08T11:23:49Z)
• SConU: Selective Conformal Uncertainty in Large Language Models [59.25881667640868]
  SconU(Selective Conformal Uncertainity)と呼ばれる新しいアプローチを提案する。 我々は,特定の管理可能なリスクレベルで設定されたキャリブレーションの不確実性分布から,与えられたサンプルが逸脱するかどうかを決定するのに役立つ2つの共形p値を開発する。 我々のアプローチは、単一ドメインと学際的コンテキストの両方にわたる誤発見率の厳密な管理を促進するだけでなく、予測の効率を高める。
  論文  参考訳（メタデータ） (2025-04-19T03:01:45Z)
• Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
  二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。 本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。 その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-06T19:53:00Z)
• Decoupling of neural network calibration measures [45.70855737027571]
  本稿では,AUSE(Area Under Sparsification Error curve)測定値に焦点をあてて,異なるニューラルネットワークキャリブレーション尺度の結合について検討する。 本稿では,現行の手法は自由度を保ち,安全クリティカルな機能のホモログ化のユニークなモデルを妨げると結論付けている。
  論文  参考訳（メタデータ） (2024-06-04T15:21:37Z)
• Robust Conformal Prediction under Distribution Shift via Physics-Informed Structural Causal Model [24.58531056536442]
  整形予測(CP)は、テスト入力上の集合を予測することによって不確実性を扱う。 このカバレッジは、キャリブレーションとテストデータセットの差分分布が$P_X$であったとしても、テストデータ上で保証することができる。 本稿では,上界を小さくする物理インフォームド構造因果モデル(PI-SCM)を提案する。
  論文  参考訳（メタデータ） (2024-03-22T08:13:33Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Calibration-Aware Bayesian Learning [37.82259435084825]
  本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。 ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。 予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:15Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)
• Evaluating Aleatoric Uncertainty via Conditional Generative Models [15.494774321257939]
  本研究では,アレータティック不確実性推定のための条件生成モデルについて検討する。 本稿では,2つの条件分布間の差を測定するための2つの指標を提案する。 我々は,我々の測定値が条件分布の相違を正確に測定する方法を数値的に示す。
  論文  参考訳（メタデータ） (2022-06-09T05:39:04Z)
• Bayesian Confidence Calibration for Epistemic Uncertainty Modelling [4.358626952482686]
  キャリブレーション法の不確実性を考慮した信頼度推定手法を提案する。 物体検出校正のための最先端校正性能を実現する。
  論文  参考訳（メタデータ） (2021-09-21T10:53:16Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。