論文の概要: Calibration through the Lens of Indistinguishability
- arxiv url: http://arxiv.org/abs/2509.02279v1
- Date: Tue, 02 Sep 2025 13:01:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:04.032243
- Title: Calibration through the Lens of Indistinguishability
- Title(参考訳): 識別不能レンズによる校正
- Authors: Parikshit Gopalan, Lunjia Hu,
- Abstract要約: キャリブレーションの研究は、機械学習における確率論的予測の多様さを考えると、近年の関心が高まっている。
本調査では, キャリブレーション誤差の定義と測定方法に関する基礎的課題について述べる。
統一的な視点は、キャリブレーション(キャリブレーション)が、予測者によって仮説化された世界と現実の世界の間に、区別不可能な形で現れることである。
- 参考スコア(独自算出の注目度): 11.288403109735542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Calibration is a classical notion from the forecasting literature which aims to address the question: how should predicted probabilities be interpreted? In a world where we only get to observe (discrete) outcomes, how should we evaluate a predictor that hypothesizes (continuous) probabilities over possible outcomes? The study of calibration has seen a surge of recent interest, given the ubiquity of probabilistic predictions in machine learning. This survey describes recent work on the foundational questions of how to define and measure calibration error, and what these measures mean for downstream decision makers who wish to use the predictions to make decisions. A unifying viewpoint that emerges is that of calibration as a form of indistinguishability, between the world hypothesized by the predictor and the real world (governed by nature or the Bayes optimal predictor). In this view, various calibration measures quantify the extent to which the two worlds can be told apart by certain classes of distinguishers or statistical measures.
- Abstract(参考訳): キャリブレーション(Calibration)は、予測可能な確率をどのように解釈すべきかという問題に対処することを目的とした、予測文学からの古典的な概念である。
結果の観測(離散化)しかできない世界では、可能な結果に対して(連続的な)確率を仮定する予測器をどのように評価すべきか。
キャリブレーションの研究は、機械学習における確率論的予測の多様さを考えると、近年の関心が高まっている。
この調査は、キャリブレーションエラーの定義と測定方法に関する最近の基礎的な課題と、これらの指標が、予測を用いて意思決定をしたい下流の意思決定者にとって何を意味するのかについて述べる。
統一的な視点は、予測者によって仮説化された世界と現実の世界(自然またはベイズ最適予測者によって支配される)の間の不明瞭な形のキャリブレーションである。
この見方では、様々なキャリブレーション測度は、2つの世界がある種の区別器や統計測度によって区別される程度を定量化している。
関連論文リスト
- Measuring Informativeness Gap of (Mis)Calibrated Predictors [15.651406777700517]
多くのアプリケーションでは、意思決定者は複数の予測モデルを選択しなければならない。
我々のフレームワークは, 誤校正された予測器と校正された予測器を比較する, U-Calibration [KLST-23] と Decision Loss [HW-24] を厳密に一般化する。
第2の貢献は、情報化のギャップを二重に特徴づけることであり、これは自然な情報化の尺度を生み出します。
論文 参考訳(メタデータ) (2025-07-16T10:01:22Z) - Boldness-Recalibration for Binary Event Predictions [0.0]
理想的には、確率予測は(i)よく校正され、(ii)正確であり、(iii)大胆な、すなわち、意思決定に十分な情報を伝達する。
キャリブレーションと大胆さの間には根本的な緊張があり、予測が過度に慎重になったらキャリブレーションの指標が高くなる可能性がある。
本研究の目的は,キャリブレーション評価のためのベイズモデル選択に基づくアプローチと,大胆度補正のための戦略を開発することである。
論文 参考訳(メタデータ) (2023-05-05T18:14:47Z) - Confidence and Dispersity Speak: Characterising Prediction Matrix for
Unsupervised Accuracy Estimation [51.809741427975105]
この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。
我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。
核の基準は既存の手法よりも正確で堅牢であることを示す。
論文 参考訳(メタデータ) (2023-02-02T13:30:48Z) - Predictive Inference with Feature Conformal Prediction [80.77443423828315]
本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。
理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。
提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
論文 参考訳(メタデータ) (2022-10-01T02:57:37Z) - On the Calibration of Probabilistic Classifier Sets [6.759124697337311]
我々はキャリブレーションの概念を拡張して、アレタリック不確実性表現の有効性を評価する。
ディープニューラルネットワークのアンサンブルがよく校正されていないことを示す。
論文 参考訳(メタデータ) (2022-05-20T10:57:46Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳(メタデータ) (2021-10-13T01:23:48Z) - When Does Uncertainty Matter?: Understanding the Impact of Predictive
Uncertainty in ML Assisted Decision Making [68.19284302320146]
我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。
その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。
このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
論文 参考訳(メタデータ) (2020-11-12T02:23:53Z) - Counterfactual Predictions under Runtime Confounding [74.90756694584839]
本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。
本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
論文 参考訳(メタデータ) (2020-06-30T15:49:05Z) - Individual Calibration with Randomized Forecasting [116.2086707626651]
予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。
我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
論文 参考訳(メタデータ) (2020-06-18T05:53:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。