論文の概要: Minimum-Risk Recalibration of Classifiers

• arxiv url: http://arxiv.org/abs/2305.10886v1
• Date: Thu, 18 May 2023 11:27:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 15:35:21.343756
• Title: Minimum-Risk Recalibration of Classifiers
• Title（参考訳）: 分類器の最小リスク校正
• Authors: Zeyu Sun, Dogyoon Song and Alfred Hero
• Abstract要約: 平均二乗誤差分解の枠組みにおいて,最小リスク再校正の概念を導入する。 校正分類器の転送には,スクラッチから再校正するのに比べて,ターゲットサンプルが著しく少ないことが示されている。
• 参考スコア（独自算出の注目度）: 9.31067660373791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recalibrating probabilistic classifiers is vital for enhancing the reliability and accuracy of predictive models. Despite the development of numerous recalibration algorithms, there is still a lack of a comprehensive theory that integrates calibration and sharpness (which is essential for maintaining predictive power). In this paper, we introduce the concept of minimum-risk recalibration within the framework of mean-squared-error (MSE) decomposition, offering a principled approach for evaluating and recalibrating probabilistic classifiers. Using this framework, we analyze the uniform-mass binning (UMB) recalibration method and establish a finite-sample risk upper bound of order $\tilde{O}(B/n + 1/B^2)$ where $B$ is the number of bins and $n$ is the sample size. By balancing calibration and sharpness, we further determine that the optimal number of bins for UMB scales with $n^{1/3}$, resulting in a risk bound of approximately $O(n^{-2/3})$. Additionally, we tackle the challenge of label shift by proposing a two-stage approach that adjusts the recalibration function using limited labeled data from the target domain. Our results show that transferring a calibrated classifier requires significantly fewer target samples compared to recalibrating from scratch. We validate our theoretical findings through numerical simulations, which confirm the tightness of the proposed bounds, the optimal number of bins, and the effectiveness of label shift adaptation.
• Abstract（参考訳）: 確率的分類器の修正は予測モデルの信頼性と精度を高めるために不可欠である。 多くの再校正アルゴリズムが開発されているにもかかわらず、キャリブレーションとシャープネス(予測力を維持するのに必須)を統合する包括的理論はまだ欠如している。 本稿では,平均二乗誤差分解(MSE)の枠組みにおける最小リスク再校正の概念を紹介し,確率的分類器の評価と再校正のための原則的アプローチを提案する。 この枠組みを用いて,統一質量ビン化法 (umb) を解析し,$b$ をビン数,$n$ をサンプルサイズとする順序 $\tilde{o}(b/n + 1/b^2)$ の有限サンプルリスク上限を確立する。 キャリブレーションとシャープネスのバランスをとることで、umbの最適ビン数は$n^{1/3}$でスケールし、リスクバウンドは約$o(n^{-2/3})$となる。 さらに,対象領域からの限定ラベルデータを用いて再校正関数を調整する2段階アプローチを提案することで,ラベルシフトの課題に取り組む。 以上の結果から,分類器の移動は,スクラッチから再校正するよりもターゲットサンプルが有意に少ないことがわかった。 提案した境界の厳密性, 最適なビン数, ラベルシフト適応の有効性を数値シミュレーションにより検証した。

関連論文リスト

• Low-Rank Approximation of Structural Redundancy for Self-Supervised Learning [2.3072402651280517]
  本研究では,その有効性に光を当てるために,再構成SSLのデータ生成機構について検討する。 ラベル付きサンプルの無限の量で、完全線形近似に十分かつ必要な条件を提供する。 この条件により、低ランク因子化による冗長成分の近似を提案する。
  論文  参考訳（メタデータ） (2024-02-10T04:45:27Z)
• Classifier Calibration with ROC-Regularized Isotonic Regression [0.0]
  等方性回帰を用いてモノトン変換による校正集合上のクロスエントロピーを最小化する。 IRは適応的なバイナリ処理として機能し、キャリブレーション誤差をゼロにすることができるが、性能への影響は未解決である。 この一般単調な基準は、クロスエントロピー損失の低減と校正セットの過度な適合の回避のバランスを打つのに有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-21T08:45:09Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
  ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。 ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。 提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-10-13T15:11:11Z)
• MBCT: Tree-Based Feature-Aware Binning for Individual Uncertainty Calibration [29.780204566046503]
  我々はMultiple Boosting Trees (MBCT)と呼ばれる特徴認識型バイナリフレームワークを提案する。 MBCTは非単調であり,学習可能なビンニング方式と個々のキャリブレーションにより,順序精度が向上する可能性がある。 その結果,本手法はキャリブレーション誤差と順序精度の両方で競合するモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-02-09T08:59:16Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。