論文の概要: Calibration Assessment and Boldness-Recalibration for Binary Events

• arxiv url: http://arxiv.org/abs/2305.03780v1
• Date: Fri, 5 May 2023 18:14:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 19:31:37.372942
• Title: Calibration Assessment and Boldness-Recalibration for Binary Events
• Title（参考訳）: 連立イベントの校正評価とボルドネス-校正
• Authors: Adeline P. Guthrie and Christopher T. Franck
• Abstract要約: 本研究の目的は,キャリブレーションを評価するための仮説テストとベイズモデル選択手法を開発することである。 我々は、ユーザが所望のキャリブレーションの後続確率を事前に指定し、次に、この制約の下で最大で具体化された予測を行えるようにする。 キャリブレーション確率の非常にわずかな緩和は、しばしばかなりの予測を具現化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probability predictions are essential to inform decision making in medicine, economics, image classification, sports analytics, entertainment, and many other fields. Ideally, probability predictions are (i) well calibrated, (ii) accurate, and (iii) bold, i.e., far from the base rate of the event. Predictions that satisfy these three criteria are informative for decision making. However, there is a fundamental tension between calibration and boldness, since calibration metrics can be high when predictions are overly cautious, i.e., non-bold. The purpose of this work is to develop a hypothesis test and Bayesian model selection approach to assess calibration, and a strategy for boldness-recalibration that enables practitioners to responsibly embolden predictions subject to their required level of calibration. Specifically, we allow the user to pre-specify their desired posterior probability of calibration, then maximally embolden predictions subject to this constraint. We verify the performance of our procedures via simulation, then demonstrate the breadth of applicability by applying these methods to real world case studies in each of the fields mentioned above. We find that very slight relaxation of calibration probability (e.g., from 0.99 to 0.95) can often substantially embolden predictions (e.g., widening Hockey predictions' range from .25-.75 to .10-.90)
• Abstract（参考訳）: 確率予測は、医学、経済学、画像分類、スポーツ分析、エンタテインメント、その他多くの分野における意思決定に不可欠である。 理想的には 確率予測は (i)よく校正された。 (ii)正確で (三)大胆、すなわち、イベントのベースレートから遠く離れていること。 これら3つの基準を満たす予測は、意思決定に役立ちます。 しかし、予測が過度に慎重である場合、すなわち非ボルドの場合、キャリブレーションのメトリクスが高いため、キャリブレーションと大胆さの間には基本的な緊張関係がある。 本研究の目的は,キャリブレーションを評価するための仮説テストとベイズモデル選択手法,および,必要なキャリブレーションのレベルに応じた予測を柔軟に実施できる大胆なキャリブレーション戦略を開発することである。 具体的には、ユーザが所望のキャリブレーションの後方確率を事前に指定し、この制約に従う予測を最大に具現化する。 シミュレーションにより本手法の性能を検証し,上で述べた各分野における実世界のケーススタディに適用することにより,適用範囲の広さを実証する。 キャリブレーション確率の非常に小さな緩和(例:0.99から0.95まで)は、しばしば実質的な予測(例:ホッケーの予測の範囲を.25-.75から.10-.90まで広げる)を具体化する。

関連論文リスト

• Truthfulness of Calibration Measures [18.21682539787221]
  キャリブレーションの指標は、予測者が次の結果の条件付き期待を予測することによって期待されるペナルティを最小化した場合に真実とされる。 これにより、音の良さや完全さといった典型的な要件とともに、校正措置に欠かせないデシプラタムとなる。 本稿では, 正当性予測を一定乗算係数まで最適とする, Subsampled Smooth Error (SSCE) と呼ばれる新たなキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T02:07:55Z)
• Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
  攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。 我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
  論文  参考訳（メタデータ） (2024-05-22T18:52:09Z)
• Optimizing Calibration by Gaining Aware of Prediction Correctness [30.619608580138802]
  クロスエントロピー(CE)損失はキャリブレータトレーニングに広く使われており、基底真理クラスに対する信頼を高めるためにモデルを強制する。 本稿では, キャリブレーションの目的から得られた, ポストホックキャリブレーションの新たなキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2024-04-19T17:25:43Z)
• Calibrated Uncertainty Quantification for Operator Learning via Conformal Prediction [95.75771195913046]
  本稿では, リスク制御型量子ニューラル演算子, 分布のない有限サンプル機能キャリブレーション等式予測法を提案する。 関数領域上の点の期待値として定義されるカバレッジ率に関する理論的キャリブレーションを保証する。 2次元ダーシー流と3次元自動車表面圧力予測タスクに関する実験結果から,我々の理論的結果が検証された。
  論文  参考訳（メタデータ） (2024-02-02T23:43:28Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Posterior Probability Matters: Doubly-Adaptive Calibration for Neural Predictions in Online Advertising [29.80454356173723]
  フィールドレベルのキャリブレーションはきめ細やかで実用的だ。 AdaCalibは、モデル予測をキャリブレーションするためにイソトニック関数ファミリーを学ぶ。 実験では、AdaCalibが校正性能を大幅に改善することを確認した。
  論文  参考訳（メタデータ） (2022-05-15T14:27:19Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。