論文の概要: Where are we with calibration under dataset shift in image classification?

• arxiv url: http://arxiv.org/abs/2507.07780v1
• Date: Thu, 10 Jul 2025 13:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.432216
• Title: Where are we with calibration under dataset shift in image classification?
• Title（参考訳）: 画像分類におけるデータセットシフト下でのキャリブレーションはどこにあるのか?
• Authors: Mélanie Roschewitz, Raghav Mehta, Fabio de Sousa Ribeiro, Ben Glocker,
• Abstract要約: 画像分類のための実世界のデータセットシフトの下でキャリブレーションの状況について検討する。 様々なポストホックキャリブレーション手法と、一般的なトレーニング中のキャリブレーション戦略との相互作用を比較した。 i) アンサンブル前に校正を適用することは、シフトの下で校正するのにより効果的である。
• 参考スコア（独自算出の注目度）: 16.571507609650073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We conduct an extensive study on the state of calibration under real-world dataset shift for image classification. Our work provides important insights on the choice of post-hoc and in-training calibration techniques, and yields practical guidelines for all practitioners interested in robust calibration under shift. We compare various post-hoc calibration methods, and their interactions with common in-training calibration strategies (e.g., label smoothing), across a wide range of natural shifts, on eight different classification tasks across several imaging domains. We find that: (i) simultaneously applying entropy regularisation and label smoothing yield the best calibrated raw probabilities under dataset shift, (ii) post-hoc calibrators exposed to a small amount of semantic out-of-distribution data (unrelated to the task) are most robust under shift, (iii) recent calibration methods specifically aimed at increasing calibration under shifts do not necessarily offer significant improvements over simpler post-hoc calibration methods, (iv) improving calibration under shifts often comes at the cost of worsening in-distribution calibration. Importantly, these findings hold for randomly initialised classifiers, as well as for those finetuned from foundation models, the latter being consistently better calibrated compared to models trained from scratch. Finally, we conduct an in-depth analysis of ensembling effects, finding that (i) applying calibration prior to ensembling (instead of after) is more effective for calibration under shifts, (ii) for ensembles, OOD exposure deteriorates the ID-shifted calibration trade-off, (iii) ensembling remains one of the most effective methods to improve calibration robustness and, combined with finetuning from foundation models, yields best calibration results overall.
• Abstract（参考訳）: 画像分類のための実世界のデータセットシフトの下で、キャリブレーションの状況について広範な研究を行う。 本研究は, ポストホックおよびイントレーニング校正技術の選択に関する重要な知見を提供し, シフト中のロバスト校正に関心のあるすべての実践者に対して, 実践的ガイドラインを提供する。 我々は,様々なポストホックキャリブレーション手法と,複数の画像領域にまたがる8つの異なる分類課題において,様々な自然変化にまたがるトレーニング中のキャリブレーション戦略(例えば,ラベルの平滑化)との相互作用を比較した。 以下に示す。 一 エントロピー正則化とラベルの平滑化を同時に施すことにより、データセットシフトの下で最適なキャリブレーション生確率が得られる。 (II)少量のセマンティック・アウト・オブ・ディストリビューション・データ(タスクとは無関係)に曝露したポストホック・キャリブレータは、シフト中で最も堅牢である。 三 シフト下での校正を特に目指す最近の校正方法は、簡易な校正方法よりも大幅に改善するとは限らない。 (4)シフトによる校正の改善は、配当校正を悪化させるコストがかかることが多い。 重要なことは、これらの発見はランダムに初期化された分類器、および基礎モデルから微調整されたモデルにとって、後者はスクラッチから訓練されたモデルよりも一貫して校正されている。 最後に、我々はアンサンブル効果の詳細な分析を行い、それを発見した。 一 放火前に校正を施すこと(アフターの代わりに)は、シフト時の校正に有効である。 (ii)アンサンブルでは、OOD露光はIDシフトキャリブレーショントレードオフを悪化させる。 三 校正性を向上させるための最も効果的な方法の1つであり、基礎モデルの微調整と相まって、全体として最高の校正結果が得られる。

関連論文リスト

• Calibration by Distribution Matching: Trainable Kernel Calibration Metrics [56.629245030893685]
  カーネルベースのキャリブレーションメトリクスを導入し、分類と回帰の両方で一般的なキャリブレーションの形式を統一・一般化する。 これらの指標は、異なるサンプル推定を許容しており、キャリブレーションの目的を経験的リスク最小化に組み込むのが容易である。 決定タスクにキャリブレーションメトリクスを調整し、正確な損失推定を行ない、後悔しない決定を行うための直感的なメカニズムを提供する。
  論文  参考訳（メタデータ） (2023-10-31T06:19:40Z)
• Adaptive Calibrator Ensemble for Model Calibration under Distribution Shift [23.794897699193875]
  アダプティブ・キャリブレータ・アンサンブル(ACE)は、通常はキャリブレーション・セットよりも難しいOODデータセットをキャリブレーション・セットに分類する。 ACEは一般に、一連のOODベンチマークにおけるいくつかの最先端のキャリブレーション方式の性能を改善している。
  論文  参考訳（メタデータ） (2023-03-09T15:22:02Z)
• Bag of Tricks for In-Distribution Calibration of Pretrained Transformers [8.876196316390493]
  プレトレーニング言語モデル(PLM)の信頼性校正に関する実証的研究について述べる。 トレーニングセットに過度に適合したアンサンブルモデルは,サブパーキャリブレーション性能を示す。 校正手法を組み合わせた校正PLM(CALL)を提案する。
  論文  参考訳（メタデータ） (2023-02-13T21:11:52Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Post-hoc Uncertainty Calibration for Domain Drift Scenarios [46.88826364244423]
  既存のポストホックキャリブレーション手法は、ドメインシフト下での過信予測を高い精度で得ることを示した。 ポストホックキャリブレーションステップを実行する前に、検証セットのサンプルに摂動を適用する簡単な戦略を紹介します。
  論文  参考訳（メタデータ） (2020-12-20T18:21:13Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Multi-Class Uncertainty Calibration via Mutual Information Maximization-based Binning [8.780958735684958]
  ポストホック多クラスキャリブレーションは、ディープニューラルネットワーク予測の信頼度推定を提供する一般的なアプローチである。 近年の研究では、広く使われているスケーリング手法がキャリブレーション誤差を過小評価していることが示されている。 類似クラス間で1つのキャリブレータを共有する共有クラスワイド(sCW)キャリブレーション戦略を提案する。
  論文  参考訳（メタデータ） (2020-06-23T15:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。