論文の概要: Calibrating Predictions to Decisions: A Novel Approach to Multi-Class Calibration

• arxiv url: http://arxiv.org/abs/2107.05719v1
• Date: Mon, 12 Jul 2021 20:17:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-14 14:49:46.129306
• Title: Calibrating Predictions to Decisions: A Novel Approach to Multi-Class Calibration
• Title（参考訳）: 判断に対する予測のキャリブレーション:マルチクラスキャリブレーションへの新しいアプローチ
• Authors: Shengjia Zhao, Michael P. Kim, Roshni Sahoo, Tengyu Ma, Stefano Ermon
• Abstract要約: 我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。 決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
• 参考スコア（独自算出の注目度）: 118.26862029820447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When facing uncertainty, decision-makers want predictions they can trust. A machine learning provider can convey confidence to decision-makers by guaranteeing their predictions are distribution calibrated -- amongst the inputs that receive a predicted class probabilities vector $q$, the actual distribution over classes is $q$. For multi-class prediction problems, however, achieving distribution calibration tends to be infeasible, requiring sample complexity exponential in the number of classes $C$. In this work, we introduce a new notion -- \emph{decision calibration} -- that requires the predicted distribution and true distribution to be ``indistinguishable'' to a set of downstream decision-makers. When all possible decision makers are under consideration, decision calibration is the same as distribution calibration. However, when we only consider decision makers choosing between a bounded number of actions (e.g. polynomial in $C$), our main result shows that decisions calibration becomes feasible -- we design a recalibration algorithm that requires sample complexity polynomial in the number of actions and the number of classes. We validate our recalibration algorithm empirically: compared to existing methods, decision calibration improves decision-making on skin lesion and ImageNet classification with modern neural network predictors.
• Abstract（参考訳）: 不確実性に直面すると、意思決定者は信頼できる予測を求める。 機械学習プロバイダは、予測したクラス確率のベクター$q$を受け取る入力の中で、クラス上の実際の分布が$q$であることを保証することによって、意思決定者に自信を与えることができる。 しかし、マルチクラスの予測問題では、分布のキャリブレーションを達成することは不可能であり、クラス数$C$でサンプルの複雑さが指数関数的に必要となる。 本研究では,下流意思決定者に対して,予測された分布と真の分布を‘識別不能’とすることを要求する,新たな概念である \emph{decision calibration} を導入する。 すべての可能な意思決定者が考慮されている場合、決定キャリブレーションは分布キャリブレーションと同じである。 しかし、私たちが意思決定者だけを考えるとき、境界値のアクション(例)を選択する。 C$の多項式は、決定のキャリブレーションが実現可能であることを示している -- 私たちは、アクションの数とクラス数でサンプル複雑多項式を必要とする再校正アルゴリズムを設計します。 既存の手法と比較して、決定校正は皮膚病変の意思決定を改善し、画像ネットを現代のニューラルネットワーク予測器で分類する。

関連論文リスト

• On Computationally Efficient Multi-Class Calibration [9.032290717007065]
  プロジェクトのキャリブレーションは、下流の意思決定者全員に強い保証を与えます。 これは、ラベルに割り当てられた確率を$T$にまとめることで予測される確率が、完全に校正されたバイナリ予測器に近いことを保証している。
  論文  参考訳（メタデータ） (2024-02-12T17:25:23Z)
• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Calibrating AI Models for Wireless Communications via Conformal Prediction [55.47458839587949]
  コンフォーマル予測は,通信システムにおけるAIの設計に初めて適用される。 本稿では,形式的校正保証付き決定を生成するAIモデルを得るための一般フレームワークとしての共形予測の適用について検討する。
  論文  参考訳（メタデータ） (2022-12-15T12:52:23Z)
• Fair admission risk prediction with proportional multicalibration [0.16249424686052708]
  マルチキャリブレーション制約は、柔軟に定義されたサブポピュレーション間のキャリブレーション誤差を補正する。 意思決定者は特定のグループに対するモデル予測を信頼するか、不信にするかを学ぶことができる。 本稿では,グループ間および予測ビン内における正の校正誤差を制限する基準である比例多重校正を提案する。
  論文  参考訳（メタデータ） (2022-09-29T08:15:29Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Hidden Heterogeneity: When to Choose Similarity-Based Calibration [12.788224825185633]
  ブラックボックスキャリブレーション法は、キャリブレーションが予測精度を向上させるサブポレーションを検出することができない。 隠れ不均一性(HH)の定量的尺度を提案する。 実験により, 類似度に基づくキャリブレーション法によって達成されたキャリブレーションの改善は, 現在あるHH量と相関し, 十分なキャリブレーションデータを得た場合, 大域的なキャリブレーション法で達成したキャリブレーションを概ね上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-02-03T20:43:25Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。