論文の概要: Cautious Calibration in Binary Classification
- arxiv url: http://arxiv.org/abs/2408.05120v1
- Date: Fri, 9 Aug 2024 15:19:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 15:27:33.601363
- Title: Cautious Calibration in Binary Classification
- Title（参考訳）: バイナリ分類における注意点検
- Authors: Mari-Liis Allikivi, Joonas Järve, Meelis Kull,
- Abstract要約: 慎重であることは、機械学習システムの信頼性を高めるために不可欠である。
リスクの高いシナリオでは、予測される各確率が不信に傾くことが重要です。
本研究では,二項分類における慎重な校正という新しい概念を紹介する。
- 参考スコア（独自算出の注目度）: 1.6954767541769011
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Being cautious is crucial for enhancing the trustworthiness of machine learning systems integrated into decision-making pipelines. Although calibrated probabilities help in optimal decision-making, perfect calibration remains unattainable, leading to estimates that fluctuate between under- and overconfidence. This becomes a critical issue in high-risk scenarios, where even occasional overestimation can lead to extreme expected costs. In these scenarios, it is important for each predicted probability to lean towards underconfidence, rather than just achieving an average balance. In this study, we introduce the novel concept of cautious calibration in binary classification. This approach aims to produce probability estimates that are intentionally underconfident for each predicted probability. We highlight the importance of this approach in a high-risk scenario and propose a theoretically grounded method for learning cautious calibration maps. Through experiments, we explore and compare our method to various approaches, including methods originally not devised for cautious calibration but applicable in this context. We show that our approach is the most consistent in providing cautious estimates. Our work establishes a strong baseline for further developments in this novel framework.
- Abstract（参考訳）: 慎重であることは、意思決定パイプラインに統合された機械学習システムの信頼性を高めるために不可欠である。
キャリブレーションされた確率は最適な意思決定に役立つが、完全なキャリブレーションは達成不可能であり、不信と過信の間に変動する。
これはリスクの高いシナリオにおいて重要な問題となり、時には過大評価でさえ、予想されるコストを極端に上回る可能性がある。
これらのシナリオでは、平均的なバランスを達成するだけでなく、予測される各確率が不信に傾くことが重要です。
本研究では,二項分類における慎重な校正という新しい概念を紹介する。
提案手法は,各予測確率に対して意図的に過小評価された確率推定値を生成することを目的としている。
本稿では、リスクの高いシナリオにおけるこのアプローチの重要性を強調し、慎重なキャリブレーションマップを学習するための理論的根拠を持つ方法を提案する。
実験を通じて,本手法を様々な手法と比較し,注意深い校正のために考案されたものではないが,この文脈で適用できる方法などを検討した。
私たちは、我々のアプローチが慎重な見積もりを提供する上で最も一貫性があることを示します。
私たちの研究は、この新しいフレームワークのさらなる発展のための強力なベースラインを確立します。
関連論文リスト
- Calibrated Probabilistic Forecasts for Arbitrary Sequences [58.54729945445505]
実際のデータストリームは、分散シフトやフィードバックループ、敵アクターによって予測不可能に変化する可能性がある。
データがどのように進化するかに関わらず、有効な不確実性推定を保証するための予測フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-27T21:46:42Z) - Probabilistic Parameter Estimators and Calibration Metrics for Pose Estimation from Image Features [30.85393323542915]
本稿では,実時間における測定の不確実性を考慮した確率的パラメータ推定の課題に対処する。
本稿では,最小二乗サンプリング法,線形近似法,確率的プログラミング推定法という3つの確率的パラメータ推定手法を提案する。
線形近似推定器は、他の手法よりも格段に高速にシャープで精度の良いポーズ予測を生成できるが、特定のシナリオにおいて過信な予測をもたらす可能性があることを実証する。
論文 参考訳（メタデータ） (2024-07-23T07:02:01Z) - Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
多くの信頼度推定法は誤分類誤りを検出するのに有害である。
本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:44:14Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - Two Sides of Miscalibration: Identifying Over and Under-Confidence
Prediction for Network Calibration [1.192436948211501]
安全クリティカルなタスクにおける信頼性予測には、ディープニューラルネットワークの信頼性校正が不可欠である。
ミススキャリブレーションは、過信と/または過信をモデル化する。
校正点とクラス別校正点を同定するために,新しい校正点である校正点を導入する。
クラスワイドの誤校正スコアをプロキシとして使用して,過度かつ過度に対処可能な校正手法を設計する。
論文 参考訳（メタデータ） (2023-08-06T17:59:14Z) - Uncertainty Estimation based on Geometric Separation [13.588210692213568]
機械学習では、特定の入力が正しい確率を正確に予測することがリスク管理に不可欠である。
機械学習モデルにおける不確実性推定を改善するための新しい幾何学的アプローチを提案する。
論文 参考訳（メタデータ） (2023-01-11T13:19:24Z) - Calibrated Selective Classification [34.08454890436067]
そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。
本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。
われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
論文 参考訳（メタデータ） (2022-08-25T13:31:09Z) - Uncertainty Quantification for Traffic Forecasting: A Unified Approach [21.556559649467328]
不確実性は時系列予測タスクに不可欠な考慮事項である。
本研究では,交通予測の不確かさの定量化に焦点をあてる。
STUQ(Deep S-Temporal Uncertainity Quantification)を開発した。
論文 参考訳（メタデータ） (2022-08-11T15:21:53Z) - Provable tradeoffs in adversarially robust classification [96.48180210364893]
我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。
この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
論文 参考訳（メタデータ） (2020-06-09T09:58:19Z) - Optimal Change-Point Detection with Training Sequences in the Large and
Moderate Deviations Regimes [72.68201611113673]
本稿では,情報理論の観点から,新しいオフライン変化点検出問題について検討する。
基礎となる事前および変更後分布の知識は分かっておらず、利用可能なトレーニングシーケンスからのみ学習できると仮定する。
論文 参考訳（メタデータ） (2020-03-13T23:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。