論文の概要: Calibration Meets Reality: Making Machine Learning Predictions Trustworthy

• arxiv url: http://arxiv.org/abs/2509.23665v1
• Date: Sun, 28 Sep 2025 06:04:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.360113
• Title: Calibration Meets Reality: Making Machine Learning Predictions Trustworthy
• Title（参考訳）: Calibrationが現実と出会う - マシンラーニングの予測を信頼できるものにする
• Authors: Kristina P. Sinaga, Arjun S. Nair,
• Abstract要約: ポストホック校正法は機械学習モデルから確率予測の信頼性を向上させるために広く用いられている。 本研究では, ポストホックキャリブレーション法の理論解析を行い, プラットスケーリングとソトニック回帰に着目した。 また,制御された合成実験によるキャリブレーション性能に及ぼす特徴情報の影響についても検討した。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-hoc calibration methods are widely used to improve the reliability of probabilistic predictions from machine learning models. Despite their prevalence, a comprehensive theoretical understanding of these methods remains elusive, particularly regarding their performance across different datasets and model architectures. Input features play a crucial role in shaping model predictions and, consequently, their calibration. However, the interplay between feature quality and calibration performance has not been thoroughly investigated. In this work, we present a rigorous theoretical analysis of post-hoc calibration methods, focusing on Platt scaling and isotonic regression. We derive convergence guarantees, computational complexity bounds, and finite-sample performance metrics for these methods. Furthermore, we explore the impact of feature informativeness on calibration performance through controlled synthetic experiments. Our empirical evaluation spans a diverse set of real-world datasets and model architectures, demonstrating consistent improvements in calibration metrics across various scenarios. By examining calibration performance under varying feature conditions utilizing only informative features versus complete feature spaces including noise dimensions, we provide fundamental insights into the robustness and reliability of different calibration approaches. Our findings offer practical guidelines for selecting appropriate calibration methods based on dataset characteristics and computational constraints, bridging the gap between theoretical understanding and practical implementation in uncertainty quantification. Code and experimental data are available at: https://github.com/Ajwebdevs/calibration-analysis-experiments.
• Abstract（参考訳）: ポストホック校正法は機械学習モデルから確率予測の信頼性を向上させるために広く用いられている。 それらの普及にもかかわらず、これらの手法に関する包括的な理論的理解は、特に異なるデータセットやモデルアーキテクチャにおけるそれらのパフォーマンスについて、いまだ解明されていない。 入力機能はモデルの予測を形作り、その結果、キャリブレーションにおいて重要な役割を果たす。 しかし, キャリブレーション性能と特徴量との相互作用は十分には研究されていない。 本研究では, ポストホックキャリブレーション手法の厳密な理論的解析を行い, プラットスケーリングと等方性回帰に着目した。 これらの手法の収束保証,計算複雑性境界,有限サンプル性能指標を導出する。 さらに, 制御された合成実験によるキャリブレーション性能に及ぼす特徴情報の影響について検討した。 私たちの経験的評価は、現実世界のデータセットとモデルアーキテクチャの多様なセットにまたがっており、さまざまなシナリオにおけるキャリブレーションメトリクスの一貫性のある改善を実証しています。 ノイズ次元を含む完全特徴空間に対する情報的特徴量のみを利用して,様々な特徴条件下でキャリブレーション性能を検証することにより,キャリブレーション手法の堅牢性と信頼性に関する基礎的な知見を提供する。 本研究は,データセットの特徴と計算制約に基づいて適切な校正方法を選択するための実践的ガイドラインを提供し,不確実性定量化における理論的理解と実践的実装のギャップを埋めるものである。 コードと実験データは、https://github.com/Ajwebdevs/calibration-analysis-experiments.comで公開されている。

関連論文リスト

• Probabilistic Calibration by Design for Neural Network Regression [2.3020018305241337]
  本稿では,量子校正トレーニングと呼ばれる新しいエンドツーエンドモデルトレーニング手法を提案する。 57の回帰データセットを含む大規模実験において,本手法の性能を実証した。
  論文  参考訳（メタデータ） (2024-03-18T17:04:33Z)
• On the Calibration of Large Language Models and Alignment [63.605099174744865]
  信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。 構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。 我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
  論文  参考訳（メタデータ） (2023-11-22T08:57:55Z)
• Distribution-Free Model-Agnostic Regression Calibration via Nonparametric Methods [9.662269016653296]
  予測モデルの量子化を特徴付けるための個別キャリブレーションの目的について考察する。 既存の方法はほとんどなく、個々のキャリブレーションに関して統計的な保証が欠如している。 基礎となる予測モデルに依存しない単純な非パラメトリックキャリブレーション法を提案する。
  論文  参考訳（メタデータ） (2023-05-20T21:31:51Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Variable-Based Calibration for Machine Learning Classifiers [11.9995808096481]
  モデルのキャリブレーション特性を特徴付けるために,変数ベースのキャリブレーションの概念を導入する。 ほぼ完全なキャリブレーション誤差を持つモデルでは,データの特徴の関数としてかなりの誤校正が期待できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T00:49:31Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。