論文の概要: Revisiting Reweighted Risk for Calibration: AURC, Focal Loss, and Inverse Focal Loss
- arxiv url: http://arxiv.org/abs/2505.23463v1
- Date: Thu, 29 May 2025 14:12:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-30 18:14:07.892543
- Title: Revisiting Reweighted Risk for Calibration: AURC, Focal Loss, and Inverse Focal Loss
- Title（参考訳）: 校正のリスク再考: AURC, Focal Loss, Inverse Focal Loss
- Authors: Han Zhou, Sebastian G. Gruber, Teodora Popordanoska, Matthew B. Blaschko,
- Abstract要約: 本稿では,ディープラーニングで一般的に使用される重み付きリスク関数の幅広いクラスを再検討する。
我々はこれらの重み付けスキームと校正誤差の原理的関係を確立する。
AURCの正規化変種を最適化することは自然にキャリブレーションの改善につながることを示す。
- 参考スコア（独自算出の注目度）: 17.970895970580823
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Several variants of reweighted risk functionals, such as focal losss, inverse focal loss, and the Area Under the Risk-Coverage Curve (AURC), have been proposed in the literature and claims have been made in relation to their calibration properties. However, focal loss and inverse focal loss propose vastly different weighting schemes. In this paper, we revisit a broad class of weighted risk functions commonly used in deep learning and establish a principled connection between these reweighting schemes and calibration errors. We show that minimizing calibration error is closely linked to the selective classification paradigm and demonstrate that optimizing a regularized variant of the AURC naturally leads to improved calibration. This regularized AURC shares a similar reweighting strategy with inverse focal loss, lending support to the idea that focal loss is less principled when calibration is a desired outcome. Direct AURC optimization offers greater flexibility through the choice of confidence score functions (CSFs). To enable gradient-based optimization, we introduce a differentiable formulation of the regularized AURC using the SoftRank technique. Empirical evaluations demonstrate that our AURC-based loss achieves competitive class-wise calibration performance across a range of datasets and model architectures.
- Abstract（参考訳）: 分散損失、逆焦点損失、AURC (Area Under the Risk-Coverage Curve) などの再重み付けされたリスク関数のいくつかの変種が文献で提案され、それらのキャリブレーション特性に関する主張がなされている。
しかし、焦点損失と逆焦点損失は、全く異なる重み付けスキームを提案する。
本稿では,深層学習で一般的に使用される多種多様な重み付きリスク関数を再検討し,これらの重み付けスキームと校正誤差の原理的関連性を確立する。
キャリブレーション誤差の最小化は選択的分類パラダイムと密接に関連していることを示し、AURCの正規化変種を最適化することが自然にキャリブレーションの改善につながることを示した。
この正規化されたAURCは、逆焦点損失を伴う同様の再重み付け戦略を共有し、校正が望ましい結果であるときに焦点損失が原則的でないという考え方を支援する。
直接AURC最適化は、信頼スコア関数(CSF)の選択による柔軟性の向上を提供する。
勾配に基づく最適化を実現するために,SoftRank 法を用いて正規化 AURC の微分可能な定式化を導入する。
実験により、AURCに基づく損失は、様々なデータセットやモデルアーキテクチャで競合するクラスワイドキャリブレーション性能を実現することを示す。
関連論文リスト
- SGIC: A Self-Guided Iterative Calibration Framework for RAG [45.17496149653415]
大規模言語モデル(LLM)は、頑健な文脈内推論を生かしている。
ツールとして不確実性スコアを用いる新しいフレームワークを提案する。
また、反復的な自己校正訓練セットを構築するための革新的なアプローチも導入する。
論文 参考訳（メタデータ） (2025-06-19T09:45:13Z) - Know What You Don't Know: Uncertainty Calibration of Process Reward Models [8.958124143194512]
最先端のPRMでさえ、キャリブレーションが不十分であり、しばしば成功確率を過大評価することができる。
我々は、PRM出力が真の成功確率によく適合するように、量子レグレッションによって行われるキャリブレーション手法を提案する。
論文 参考訳（メタデータ） (2025-06-11T02:39:26Z) - CLUE: Neural Networks Calibration via Learning Uncertainty-Error alignment [7.702016079410588]
CLUE(Calibration via Learning Uncertainty-Error Alignment)は,学習中の予測不確かさを観測誤差と整合させる新しい手法である。
CLUEは,最先端のアプローチに対して,キャリブレーション品質と競争予測性能に優れることを示す。
論文 参考訳（メタデータ） (2025-05-28T19:23:47Z) - Calibration Strategies for Robust Causal Estimation: Theoretical and Empirical Insights on Propensity Score-Based Estimators [0.6562256987706128]
推定と校正のためのデータの分割は、確率スコアに基づく推定器の性能に重大な影響を及ぼす。
提案手法は,確率スコア推定のためのキャリブレーション手法の最近の進歩を延長し,挑戦的な設定における確率スコアの堅牢性を向上させる。
論文 参考訳（メタデータ） (2025-03-21T16:41:10Z) - Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。
過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。
報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
論文 参考訳（メタデータ） (2024-05-26T05:38:50Z) - Prior Constraints-based Reward Model Training for Aligning Large Language Models [58.33118716810208]
本稿では,この問題を解決するために,事前制約に基づくリワードモデル(PCRM)のトレーニング手法を提案する。
PCRMは、前回の制約、特に各比較ペアの出力間の長さ比とコサイン類似性を、最適化の規模を調節しスコアマージンを制御するための報酬モデルトレーニングに組み入れている。
実験結果から,PCRMは報酬スコアのスケーリングを効果的に抑制することによりアライメント性能を著しく向上することが示された。
論文 参考訳（メタデータ） (2024-04-01T07:49:11Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Calibration by Distribution Matching: Trainable Kernel Calibration
Metrics [56.629245030893685]
カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。
これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。
決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
論文 参考訳（メタデータ） (2023-10-31T06:19:40Z) - Provably Efficient Iterated CVaR Reinforcement Learning with Function
Approximation and Human Feedback [57.6775169085215]
リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。
本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。
本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
論文 参考訳（メタデータ） (2023-07-06T08:14:54Z) - Learning convex regularizers satisfying the variational source condition
for inverse problems [4.2917182054051]
本稿では,データ駆動型凸正則化学習のための対向凸正則化(ACR)を提案する。
我々は,学習中の変動源条件(SC)を利用して,学習した凸正規化器に対応する変動損失を最小限に抑える。
結果として得られる正則化器 (ACR-SC) は、ACRと同等に動作するが、ACRとは異なり、定量的収束率の推定が伴う。
論文 参考訳（メタデータ） (2021-10-24T20:05:59Z) - Stochastic Optimization of Areas Under Precision-Recall Curves with
Provable Convergence [66.83161885378192]
ROC(AUROC)と精度リコール曲線(AUPRC)の下の領域は、不均衡問題に対する分類性能を評価するための一般的な指標である。
本稿では,深層学習のためのAUPRCの最適化手法を提案する。
論文 参考訳（メタデータ） (2021-04-18T06:22:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。