論文の概要: Distribution-free calibration guarantees for histogram binning without sample splitting

• arxiv url: http://arxiv.org/abs/2105.04656v1
• Date: Mon, 10 May 2021 20:26:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-12 14:02:13.711325
• Title: Distribution-free calibration guarantees for histogram binning without sample splitting
• Title（参考訳）: 標本分割を伴わないヒストグラムの分布自由校正保証
• Authors: Chirag Gupta, Aaditya K. Ramdas
• Abstract要約: 我々は,Zadrozny と Elkan の一般的なヒストグラムビンニング法(一様質量ビンニング法)の校正保証を証明した。 以上の結果に基づいて,ヒストグラムのビン数を選択するための実用的な推奨を行う。
• 参考スコア（独自算出の注目度）: 3.3504365823045044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We prove calibration guarantees for the popular histogram binning (also called uniform-mass binning) method of Zadrozny and Elkan [2001]. Histogram binning has displayed strong practical performance, but theoretical guarantees have only been shown for sample split versions that avoid 'double dipping' the data. We demonstrate that the statistical cost of sample splitting is practically significant on a credit default dataset. We then prove calibration guarantees for the original method that double dips the data, using a certain Markov property of order statistics. Based on our results, we make practical recommendations for choosing the number of bins in histogram binning. In our illustrative simulations, we propose a new tool for assessing calibration -- validity plots -- which provide more information than an ECE estimate.
• Abstract（参考訳）: 我々は,zadrozny と elkan [2001] の一般的なヒストグラム双対法(一様質量双対法とも呼ばれる)の校正保証を証明した。 ヒストグラムのバイナリ化は強力な実用的性能を示しているが、データの「ダブルディッピング」を避けるサンプル分割バージョンでは理論的保証しか示されていない。 サンプル分割の統計的コストは、クレジットデフォルトデータセットにおいて実質的に重要であることを示す。 次に、順序統計の特定のマルコフ特性を用いて、データを二重化する元の手法の校正保証を証明する。 以上の結果に基づいて,ヒストグラムのビン数を選択するための実用的な推奨を行う。 シミュレーションでは,ece推定よりも多くの情報を提供するキャリブレーション-妥当性プロットを評価するための新しいツールを提案する。

関連論文リスト

• Enhancing Zero-Shot Vision Models by Label-Free Prompt Distribution Learning and Bias Correcting [55.361337202198925]
  CLIPのようなヴィジュアル言語モデルは、適切なテキスト記述を使用する際に、顕著な一般化能力を示している。 本稿では,ラベル付きデータを必要としないゼロショット性能を向上する,**Frolic**と呼ばれるラベルフリーな分布学習とバイアス補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-25T04:00:45Z)
• Differentially Private Post-Processing for Fair Regression [13.855474876965557]
  我々のアルゴリズムは任意の回帰器を後処理し、出力を再マッピングすることで公平性を向上させることができる。 我々は,本アルゴリズムのサンプル複雑性を分析し,ヒストグラム中のビン数の選択から得られる統計的バイアスと分散とのトレードオフを明らかにする。
  論文  参考訳（メタデータ） (2024-05-07T06:09:37Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Minimum-Risk Recalibration of Classifiers [9.31067660373791]
  平均二乗誤差分解の枠組みにおいて,最小リスク再校正の概念を導入する。 校正分類器の転送には,スクラッチから再校正するのに比べて,ターゲットサンプルが著しく少ないことが示されている。
  論文  参考訳（メタデータ） (2023-05-18T11:27:02Z)
• Regression with Label Differential Privacy [64.21020761920322]
  与えられた回帰損失関数の下で最適なラベルDPランダム化機構を導出する。 我々は、最適メカニズムが「ビンのランダム化応答」の形をとることを証明した。
  論文  参考訳（メタデータ） (2022-12-12T17:41:32Z)
• Neighborhood Collective Estimation for Noisy Label Identification and Correction [92.20697827784426]
  ノイズラベルを用いた学習(LNL)は,ノイズラベルに対するモデルオーバーフィットの効果を軽減し,モデル性能と一般化を改善するための戦略を設計することを目的としている。 近年の進歩は、個々のサンプルのラベル分布を予測し、ノイズ検証とノイズラベル補正を行い、容易に確認バイアスを生じさせる。 提案手法では, 候補サンプルの予測信頼性を, 特徴空間近傍と対比することにより再推定する。
  論文  参考訳（メタデータ） (2022-08-05T14:47:22Z)
• MBCT: Tree-Based Feature-Aware Binning for Individual Uncertainty Calibration [29.780204566046503]
  我々はMultiple Boosting Trees (MBCT)と呼ばれる特徴認識型バイナリフレームワークを提案する。 MBCTは非単調であり,学習可能なビンニング方式と個々のキャリブレーションにより,順序精度が向上する可能性がある。 その結果,本手法はキャリブレーション誤差と順序精度の両方で競合するモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-02-09T08:59:16Z)
• Low-Shot Validation: Active Importance Sampling for Estimating Classifier Performance on Rare Categories [47.050853657721596]
  限定ラベル付きトレーニングデータでトレーニングされた機械学習モデルでは、全体のアノテーションコストを削減する上で、バリデーションが主要なボトルネックになる。 稀なカテゴリのバイナリ分類器のFスコアを正確に推定する統計的検証アルゴリズムを提案する。 特に、100個のラベルを用いて0.005の差でモデルF1のスコアを推定できる。
  論文  参考訳（メタデータ） (2021-09-13T06:01:16Z)
• Identifying Statistical Bias in Dataset Replication [102.92137353938388]
  モデルが(11-14%) の精度低下を示すImageNetデータセットの再現について検討した。 同定された統計バイアスを補正した後、推定3.6%のpm 1.5%の当初の11.7%のpm 1.0%の精度低下しか記録されていない。
  論文  参考訳（メタデータ） (2020-05-19T17:48:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。