論文の概要: A calibration test for evaluating set-based epistemic uncertainty representations

• arxiv url: http://arxiv.org/abs/2502.16299v1
• Date: Sat, 22 Feb 2025 17:10:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:59:33.382345
• Title: A calibration test for evaluating set-based epistemic uncertainty representations
• Title（参考訳）: セットベースてんかん不確実性評価のための校正試験
• Authors: Mira Jürgens, Thomas Mortier, Eyke Hüllermeier, Viktor Bengs, Willem Waegeman,
• Abstract要約: 本稿では,分布の調整を行う集合の予測に凸結合が存在するかどうかを判定する新しい統計テストを提案する。 従来の手法とは対照的に,我々のフレームワークはコンベックスの組み合わせをインスタンス依存にし,異なるアンサンブルメンバーが入力空間の異なる領域でよりキャリブレーションされていることを認識する。
• 参考スコア（独自算出の注目度）: 25.768233719182742
• License:
• Abstract: The accurate representation of epistemic uncertainty is a challenging yet essential task in machine learning. A widely used representation corresponds to convex sets of probabilistic predictors, also known as credal sets. One popular way of constructing these credal sets is via ensembling or specialized supervised learning methods, where the epistemic uncertainty can be quantified through measures such as the set size or the disagreement among members. In principle, these sets should contain the true data-generating distribution. As a necessary condition for this validity, we adopt the strongest notion of calibration as a proxy. Concretely, we propose a novel statistical test to determine whether there is a convex combination of the set's predictions that is calibrated in distribution. In contrast to previous methods, our framework allows the convex combination to be instance dependent, recognizing that different ensemble members may be better calibrated in different regions of the input space. Moreover, we learn this combination via proper scoring rules, which inherently optimize for calibration. Building on differentiable, kernel-based estimators of calibration errors, we introduce a nonparametric testing procedure and demonstrate the benefits of capturing instance-level variability on of synthetic and real-world experiments.
• Abstract（参考訳）: てんかんの不確実性の正確な表現は、機械学習において難しいが必須の課題である。 広く用いられる表現は、不動集合としても知られる確率的予測子の凸集合に対応する。 これらのクレダーセットを構築する一般的な方法の1つは、集合サイズやメンバー間の不一致といった測定によって、認識の不確実性を定量化できる、アンサンブルまたは専門的な教師付き学習方法である。 原則として、これらの集合は真のデータ生成分布を含むべきである。 この妥当性の必要条件として、キャリブレーションの最も強い概念をプロキシとして採用する。 具体的には,分布に校正される集合の予測の凸結合が存在するかどうかを判定する新しい統計テストを提案する。 従来の手法とは対照的に,我々のフレームワークはコンベックスの組み合わせをインスタンス依存にし,異なるアンサンブルメンバーが入力空間の異なる領域でよりキャリブレーションされていることを認識する。 さらに、この組み合わせは、キャリブレーションを本質的に最適化する適切なスコアリングルールによって学習する。 キャリブレーション誤差の異なるカーネルベースの推定器を構築し、非パラメトリックなテスト手順を導入し、実世界の実験でインスタンスレベルの変動を捉える利点を実証する。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Test-time Recalibration of Conformal Predictors Under Distribution Shift Based on Unlabeled Examples [30.61588337557343]
  コンフォーマル予測器は、ユーザが特定した確率で一連のクラスを計算することで不確実性の推定を提供する。 本研究では,自然分布シフト下での優れた不確実性推定を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-10-09T04:46:00Z)
• On the Calibration of Probabilistic Classifier Sets [6.759124697337311]
  我々はキャリブレーションの概念を拡張して、アレタリック不確実性表現の有効性を評価する。 ディープニューラルネットワークのアンサンブルがよく校正されていないことを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:57:46Z)
• Should Ensemble Members Be Calibrated? [16.331175260764]
  現代のディープニューラルネットワークはしばしば、キャリブレーションが不十分であることが観察される。 ディープラーニングアプローチは、多数のモデルパラメータを利用する。 本稿では,キャリブレーション方式の深層アンサンブルへの適用について検討する。
  論文  参考訳（メタデータ） (2021-01-13T23:59:00Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)
• Calibrate and Prune: Improving Reliability of Lottery Tickets Through Prediction Calibration [40.203492372949576]
  未確認の信頼を持つ監視されたモデルは、誤った予測をしたとしても過信される傾向がある。 パラメータの過剰なネットワークにおける明確な信頼度校正が、その結果の宝くじの品質に与える影響について検討する。 我々の実証研究は、キャリブレーション機構を含むと、より効果的な宝くじチケットにつながることを明らかにしている。
  論文  参考訳（メタデータ） (2020-02-10T15:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。