論文の概要: Individual Calibration with Randomized Forecasting

• arxiv url: http://arxiv.org/abs/2006.10288v3
• Date: Wed, 9 Sep 2020 07:49:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 12:42:32.533105
• Title: Individual Calibration with Randomized Forecasting
• Title（参考訳）: ランダム予測を用いた個別校正
• Authors: Shengjia Zhao, Tengyu Ma, Stefano Ermon
• Abstract要約: 予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
• 参考スコア（独自算出の注目度）: 116.2086707626651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning applications often require calibrated predictions, e.g. a 90\% credible interval should contain the true outcome 90\% of the times. However, typical definitions of calibration only require this to hold on average, and offer no guarantees on predictions made on individual samples. Thus, predictions can be systematically over or under confident on certain subgroups, leading to issues of fairness and potential vulnerabilities. We show that calibration for individual samples is possible in the regression setup if the predictions are randomized, i.e. outputting randomized credible intervals. Randomization removes systematic bias by trading off bias with variance. We design a training objective to enforce individual calibration and use it to train randomized regression functions. The resulting models are more calibrated for arbitrarily chosen subgroups of the data, and can achieve higher utility in decision making against adversaries that exploit miscalibrated predictions.
• Abstract（参考訳）: 機械学習のアプリケーションは校正された予測を必要とすることが多く、例えば、90%の信頼区間は90%の真の結果を含むべきである。 しかしながら、キャリブレーションの典型的な定義は、これを平均で保持することしか必要とせず、個々のサンプルに対する予測の保証も与えていない。 したがって、予測は特定のサブグループに対して体系的に過小評価され、公平さや潜在的な脆弱性の問題に繋がる。 予測がランダム化されている場合、すなわち、ランダム化された信頼区間を出力する場合、各サンプルのキャリブレーションが可能となる。 ランダム化は、偏りと分散とのトレードオフによって体系的なバイアスを取り除く。 個々のキャリブレーションを強制するためにトレーニング目標を設計、ランダム化回帰関数のトレーニングに使用する。 得られたモデルは、任意に選択されたデータのサブグループに対してよりキャリブレーションされ、誤校正された予測を利用する敵に対する意思決定において高い実用性を達成することができる。

関連論文リスト

• Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
  コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。 しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。 信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-13T15:37:11Z)
• Domain-adaptive and Subgroup-specific Cascaded Temperature Regression for Out-of-distribution Calibration [16.930766717110053]
  本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。 予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。 回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
  論文  参考訳（メタデータ） (2024-02-14T14:35:57Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Test-time Recalibration of Conformal Predictors Under Distribution Shift Based on Unlabeled Examples [30.61588337557343]
  コンフォーマル予測器は、ユーザが特定した確率で一連のクラスを計算することで不確実性の推定を提供する。 本研究では,自然分布シフト下での優れた不確実性推定を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-10-09T04:46:00Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Posterior Probability Matters: Doubly-Adaptive Calibration for Neural Predictions in Online Advertising [29.80454356173723]
  フィールドレベルのキャリブレーションはきめ細やかで実用的だ。 AdaCalibは、モデル予測をキャリブレーションするためにイソトニック関数ファミリーを学ぶ。 実験では、AdaCalibが校正性能を大幅に改善することを確認した。
  論文  参考訳（メタデータ） (2022-05-15T14:27:19Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Private Prediction Sets [72.75711776601973]
  機械学習システムは、個人のプライバシーの確実な定量化と保護を必要とする。 これら2つのデシラタを共同で扱う枠組みを提案する。 本手法を大規模コンピュータビジョンデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-02-11T18:59:11Z)
• Prediction Confidence from Neighbors [0.0]
  機械学習(ML)モデルがOoD(out-of-distribution)サンプルから正しい予測を抽出することができないことは、重要なアプリケーションにMLを適用する上で大きな障害となる。 特徴空間距離は予測に自信を与える有意義な尺度であることを示す。 これにより、重要なアプリケーションにおけるモデルの早期かつ安全なデプロイが可能になり、常に変化する条件下でのモデルのデプロイには不可欠である。
  論文  参考訳（メタデータ） (2020-03-31T09:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。