論文の概要: Monitoring the calibration of probability forecasts with an application to concept drift detection involving image classification

• arxiv url: http://arxiv.org/abs/2510.25573v1
• Date: Wed, 29 Oct 2025 14:42:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.708281
• Title: Monitoring the calibration of probability forecasts with an application to concept drift detection involving image classification
• Title（参考訳）: 確率予測の校正のモニタリングと画像分類を含むコンセプトドリフト検出への応用
• Authors: Christopher T. Franck, Anne R. Driscoll, Zoe Szajnfarber, William H. Woodall,
• Abstract要約: 機械学習モデルは、予測確率が実際に発生した速度と一致する場合、適切に校正されると言われている。 本稿では,誤校正検出が可能な動的制限付き累積和に基づくアプローチを提案する。 提案したチャートは、キャリブレーションにおける潜在的な経過の確率予測を、ユーザが時間とともに監視する必要がある状況において、広く利用することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning approaches for image classification have led to impressive advances in that field. For example, convolutional neural networks are able to achieve remarkable image classification accuracy across a wide range of applications in industry, defense, and other areas. While these machine learning models boast impressive accuracy, a related concern is how to assess and maintain calibration in the predictions these models make. A classification model is said to be well calibrated if its predicted probabilities correspond with the rates events actually occur. While there are many available methods to assess machine learning calibration and recalibrate faulty predictions, less effort has been spent on developing approaches that continually monitor predictive models for potential loss of calibration as time passes. We propose a cumulative sum-based approach with dynamic limits that enable detection of miscalibration in both traditional process monitoring and concept drift applications. This enables early detection of operational context changes that impact image classification performance in the field. The proposed chart can be used broadly in any situation where the user needs to monitor probability predictions over time for potential lapses in calibration. Importantly, our method operates on probability predictions and event outcomes and does not require under-the-hood access to the machine learning model.
• Abstract（参考訳）: 画像分類のための機械学習アプローチは、その分野で驚くべき進歩をもたらした。 例えば、畳み込みニューラルネットワークは、産業、防衛、その他の分野の幅広い応用において、顕著な画像分類精度を達成することができる。 これらの機械学習モデルは印象的な精度を誇っているが、関連する懸念は、これらのモデルが行う予測のキャリブレーションを評価し維持する方法である。 分類モデルは、その予測確率が実際に発生した速度イベントと一致する場合、適切に校正されると言われている。 機械学習のキャリブレーションの評価や欠陥予測の再検討には多くの方法があるが、時間経過とともにキャリブレーションの潜在的な損失を予測モデルで継続的に監視するアプローチの開発には、より少ない労力が費やされている。 本稿では,従来のプロセスモニタリングとコンセプトドリフトアプリケーションの両方において,誤校正の検出を可能にする,動的制限付き累積和ベースのアプローチを提案する。 これにより、フィールド内の画像分類性能に影響を与える運用コンテキストの変更を早期に検出できる。 提案したチャートは、キャリブレーションにおける潜在的な経過の確率予測を、ユーザが時間とともに監視する必要がある状況において、広く利用することができる。 重要なこととして,本手法は確率予測とイベント結果に基づいており,機械学習モデルへの内部アクセスを必要としない。

関連論文リスト

• Enhancing accuracy of uncertainty estimation in appearance-based gaze tracking with probabilistic evaluation and calibration [13.564919425738163]
  外見に基づく視線追跡の不確実性は、信頼性の高い下流アプリケーションを保証するために重要である。 現在の不確実性認識アプローチでは、トレーニングデータセット内の分布に従って不確実性を取得する確率論的モデルを採用している。 トレーニングされたモデルの不確かさを推定する際のバイアスを軽減するために,確率校正に基づく補正戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-24T19:33:55Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Calibration tests beyond classification [30.616624345970973]
  ほとんどの教師付き機械学習タスクは、既約予測エラーを被る。 確率論的予測モデルは、妥当な目標に対する信念を表す確率分布を提供することによって、この制限に対処する。 校正されたモデルは、予測が過信でも過信でもないことを保証します。
  論文  参考訳（メタデータ） (2022-10-21T09:49:57Z)
• Calibrating Ensembles for Scalable Uncertainty Quantification in Deep Learning-based Medical Segmentation [0.42008820076301906]
  自動画像解析における不確かさの定量化は、多くのアプリケーションで非常に望まれている。 現在の不確実性定量化アプローチは、高次元実世界の問題ではうまくスケールしない。 本研究では,ディープラーニングモデルのアンサンブルを校正し,不確実な定量化測定を行うための,スケーラブルで直感的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T09:09:48Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Distribution-Free, Risk-Controlling Prediction Sets [112.9186453405701]
  ユーザ特定レベルにおける将来のテストポイントにおける期待損失を制御するブラックボックス予測器から設定値予測を生成する方法を示す。 提案手法は,予測セットのサイズをキャリブレーションするホールドアウトセットを用いて,任意のデータセットに対して明確な有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2021-01-07T18:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。