論文の概要: $L_2$-Regularized Empirical Risk Minimization Guarantees Small Smooth Calibration Error
- arxiv url: http://arxiv.org/abs/2510.13450v1
- Date: Wed, 15 Oct 2025 11:49:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-16 20:13:28.653384
- Title: $L_2$-Regularized Empirical Risk Minimization Guarantees Small Smooth Calibration Error
- Title（参考訳）: L_2$-regularized Empirical Risk Minimizationがスムーズな校正誤差を保証
- Authors: Masahiro Fujisawa, Futoshi Futami,
- Abstract要約: この研究は、標準$L_2$-regularized empirical risk minimizationがスムーズなキャリブレーション誤差(smCE)を直接制御しているという最初の理論的証明を提供する。
次に、この理論を再現されたカーネルヒルベルト空間のモデルに対してインスタンス化し、カーネルリッジとロジスティック回帰の具体的な保証を導出する。
実験によりこれらの保証が確認され、例えば$L_2$-regularized ERMは、保温後再校正を行なわずによく校正されたモデルを提供できることを示した。
- 参考スコア（独自算出の注目度）: 10.968987566851263
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Calibration of predicted probabilities is critical for reliable machine learning, yet it is poorly understood how standard training procedures yield well-calibrated models. This work provides the first theoretical proof that canonical $L_{2}$-regularized empirical risk minimization directly controls the smooth calibration error (smCE) without post-hoc correction or specialized calibration-promoting regularizer. We establish finite-sample generalization bounds for smCE based on optimization error, regularization strength, and the Rademacher complexity. We then instantiate this theory for models in reproducing kernel Hilbert spaces, deriving concrete guarantees for kernel ridge and logistic regression. Our experiments confirm these specific guarantees, demonstrating that $L_{2}$-regularized ERM can provide a well-calibrated model without boosting or post-hoc recalibration. The source code to reproduce all experiments is available at https://github.com/msfuji0211/erm_calibration.
- Abstract（参考訳）: 予測確率の校正は、信頼性の高い機械学習において重要であるが、標準的なトレーニング手順がいかによく校正されたモデルを生成するかはよく理解されていない。
この研究は、標準の$L_{2}$-regularized empirical risk minimizationが、ポストホック補正や特殊キャリブレーションプロモータライザを使わずに、スムーズなキャリブレーション誤差(smCE)を直接制御しているという最初の理論的証明を提供する。
最適化誤差,正規化強度,およびRadecher複雑性に基づいて,smCEの有限サンプル一般化境界を確立する。
次に、この理論を再現されたカーネルヒルベルト空間のモデルに対してインスタンス化し、カーネルリッジとロジスティック回帰の具体的な保証を導出する。
L_{2}$-regularized ERMは, 保温後再校正を伴わずに, 良好な校正モデルを提供できることを示した。
すべての実験を再現するソースコードはhttps://github.com/msfuji0211/erm_calibrationで入手できる。
関連論文リスト
- Uniform convergence of the smooth calibration error and its relationship with functional gradient [15.875913304310297]
この研究は滑らかな校正誤差(CE)に焦点を当て、一様収束境界を提供する。
我々は3つの代表的なアルゴリズムを解析する: 勾配の押し上げ木、カーネルの押し上げ、2層ニューラルネットワーク。
この結果は,信頼性のある確率モデルを設計するための新たな理論的洞察と実践的ガイダンスを提供する。
論文 参考訳（メタデータ） (2025-05-26T01:23:56Z) - All Models Are Miscalibrated, But Some Less So: Comparing Calibration with Conditional Mean Operators [12.103487148356747]
条件平均演算子間の差のヒルベルト・シュミットノルムに基づくカーネル校正誤差を提案する。
実験の結果,CKCEはキャリブレーション誤差によるモデルの一貫性の高いランキングを提供し,分散シフトに対してより堅牢であることがわかった。
論文 参考訳（メタデータ） (2025-02-17T05:52:09Z) - Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
キャリブレーション・リファインメント分解の新規な変分定式化について述べる。
我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
論文 参考訳（メタデータ） (2025-01-31T15:03:54Z) - Orthogonal Causal Calibration [55.28164682911196]
我々は、因果校正作業を標準(非因果予測モデル)の校正作業に還元する一般的なアルゴリズムを開発する。
以上の結果から,既存のキャリブレーションアルゴリズムを因果的設定に応用できることが示唆された。
論文 参考訳（メタデータ） (2024-06-04T03:35:25Z) - Classifier Calibration with ROC-Regularized Isotonic Regression [0.0]
等方性回帰を用いてモノトン変換による校正集合上のクロスエントロピーを最小化する。
IRは適応的なバイナリ処理として機能し、キャリブレーション誤差をゼロにすることができるが、性能への影響は未解決である。
この一般単調な基準は、クロスエントロピー損失の低減と校正セットの過度な適合の回避のバランスを打つのに有効であることを示す。
論文 参考訳（メタデータ） (2023-11-21T08:45:09Z) - Sharp Calibrated Gaussian Processes [58.94710279601622]
キャリブレーションされたモデルを設計するための最先端のアプローチは、ガウス過程の後方分散を膨らませることに依存している。
本稿では,バニラガウス過程の後方分散にインスパイアされた計算を用いて,予測量子化を生成するキャリブレーション手法を提案する。
我々のアプローチは合理的な仮定の下で校正されたモデルが得られることを示す。
論文 参考訳（メタデータ） (2023-02-23T12:17:36Z) - A Consistent and Differentiable Lp Canonical Calibration Error Estimator [21.67616079217758]
ディープニューラルネットワークは校正が不十分で、自信過剰な予測を出力する傾向がある。
ディリクレ核密度推定に基づく低バイアス・トレーニング可能な校正誤差推定器を提案する。
提案手法はカーネルの自然な選択であり,他の量の一貫した推定値を生成するのに利用できる。
論文 参考訳（メタデータ） (2022-10-13T15:11:11Z) - Modular Conformal Calibration [80.33410096908872]
回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。
このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。
我々は17の回帰データセットに対するMCCの実証的研究を行った。
論文 参考訳（メタデータ） (2022-06-23T03:25:23Z) - T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。
誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。
我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
論文 参考訳（メタデータ） (2022-03-03T16:58:54Z) - Calibrated and Sharp Uncertainties in Deep Learning via Density Estimation [10.209143402485406]
本稿では, キャリブレーションが重要であり, 維持が容易であることを論じる。
校正されたモデルを生成する再校正に基づく簡単なトレーニング手順を導入し、全体的な性能を犠牲にしない。
論文 参考訳（メタデータ） (2021-12-14T06:19:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。