論文の概要: Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration

• arxiv url: http://arxiv.org/abs/2503.18025v1
• Date: Sun, 23 Mar 2025 10:52:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:40:00.675781
• Title: Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration
• Title（参考訳）: 準最適分類器からの判断:リスク前・後校正の過剰化
• Authors: Alexandre Perez-Lebel, Gael Varoquaux, Sanmi Koyejo, Matthieu Doutreligne, Marine Le Morvan,
• Abstract要約: バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
• 参考スコア（独自算出の注目度）: 52.70324949884702
• License:
• Abstract: Probabilistic classifiers are central for making informed decisions under uncertainty. Based on the maximum expected utility principle, optimal decision rules can be derived using the posterior class probabilities and misclassification costs. Yet, in practice only learned approximations of the oracle posterior probabilities are available. In this work, we quantify the excess risk (a.k.a. regret) incurred using approximate posterior probabilities in batch binary decision-making. We provide analytical expressions for miscalibration-induced regret ($R^{\mathrm{CL}}$), as well as tight and informative upper and lower bounds on the regret of calibrated classifiers ($R^{\mathrm{GL}}$). These expressions allow us to identify regimes where recalibration alone addresses most of the regret, and regimes where the regret is dominated by the grouping loss, which calls for post-training beyond recalibration. Crucially, both $R^{\mathrm{CL}}$ and $R^{\mathrm{GL}}$ can be estimated in practice using a calibration curve and a recent grouping loss estimator. On NLP experiments, we show that these quantities identify when the expected gain of more advanced post-training is worth the operational cost. Finally, we highlight the potential of multicalibration approaches as efficient alternatives to costlier fine-tuning approaches.
• Abstract（参考訳）: 確率的分類器は不確実性の下で情報的決定を行うための中心である。 最大効用原理に基づいて、後続のクラス確率と誤分類コストを用いて最適決定規則を導出することができる。 しかし、実際には、オラクル後部確率の学習した近似のみが利用可能である。 本研究では、バッチ二分決定における近似的後続確率を用いて余剰リスク(つまり後悔)を定量化する。 本稿では、誤校正による後悔(R^{\mathrm{CL}}$)の分析式と、校正された分類器の後悔(R^{\mathrm{GL}}$)に関する厳密で情報的な上下境界(R^{\mathrm{CL}}$)について述べる。 これらの表現は、再校正のみが後悔のほとんどに対処する体制と、その後悔がグループ化損失に支配される体制を識別し、再校正以上のポストトレーニングを要求する。 重要なことに、$R^{\mathrm{CL}}$と$R^{\mathrm{GL}}$は、キャリブレーション曲線と最近のグルーピング損失推定器を用いて実際に推定することができる。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。 最後に、コストのかかる微調整手法に代わる効率的な代替手段として、マルチキャリブレーション手法の可能性を強調した。

関連論文リスト

• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Minimum-Risk Recalibration of Classifiers [9.31067660373791]
  平均二乗誤差分解の枠組みにおいて,最小リスク再校正の概念を導入する。 校正分類器の転送には,スクラッチから再校正するのに比べて,ターゲットサンプルが著しく少ないことが示されている。
  論文  参考訳（メタデータ） (2023-05-18T11:27:02Z)
• Decision-Making under Miscalibration [14.762226638396209]
  MLベースの予測は、個人について連続的な決定を伝えるために使用される。 予想される$alpha$の誤校正を前提に、最悪の場合の後悔を最小限に抑えるしきい値である$j$を使うことを提案する。 予測校正誤差と最大校正誤差の両方を用いて誤校正が測定された場合、$j$の閉形式式を提供する。 実データに関する理論的知見を検証し,j$を用いた意思決定が臨床的有用性を改善する自然な事例があることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T10:44:11Z)
• Calibrating Predictions to Decisions: A Novel Approach to Multi-Class Calibration [118.26862029820447]
  我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。 決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
  論文  参考訳（メタデータ） (2021-07-12T20:17:28Z)
• Reward Biased Maximum Likelihood Estimation for Reinforcement Learning [13.820705458648233]
  マルコフ連鎖の適応制御のためのRBMLE(Reward-Biased Maximum Likelihood Estimate)を提案した。 我々は、現在最先端のアルゴリズムと同様に、$mathcalO( log T)$が$T$の時間的水平線上で後悔していることを示します。
  論文  参考訳（メタデータ） (2020-11-16T06:09:56Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
  マルコフ決定過程(CMDP)に対するオンライン学習の検討 本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。 我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
  論文  参考訳（メタデータ） (2020-03-02T05:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。