論文の概要: Temperature Scaling Is Not Enough: Calibration Gaps Under Human Label Distributions

• arxiv url: http://arxiv.org/abs/2607.13423v1
• Date: Wed, 15 Jul 2026 03:52:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.635159
• Title: Temperature Scaling Is Not Enough: Calibration Gaps Under Human Label Distributions
• Title（参考訳）: 温度上昇はそれほど大きくない。人体に分布するキャリブレーションギャップ
• Abstract要約: この仮定に違反した場合,温度スケーリングがキャリブレーション特性を維持するかどうかを検討した。 硬質ラベルの温度スケーリングは、軟質ラベル上で直接オラクルを過小評価する。 これらの結果は, ラベルのあいまいさが構造的であった場合であっても, 多数投票ラベル上に構築された校正プロトコルが系統的に不整合モデル信頼性を損なうことを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temperature scaling is the dominant post-hoc calibration method in modern deep learning. Its theoretical justification rests on an assumption that is rarely stated explicitly: that ground-truth labels are one-hot and deterministic. In practice, labels are frequently soft, crowd-sourced, or genuinely distributional, reflecting real disagreement among human annotators rather than annotation noise. We study whether temperature scaling retains its calibration properties when this assumption is violated, and whether any resulting degradation depends on model scale. Using CIFAR-10H and ChaosNLI, two publicly available datasets with human-annotated soft label distributions, we evaluate three model scales per modality under both hard one-hot and soft distributional label targets. Across all nine configurations we find a positive soft-label calibration gap: temperature scaling calibrated on hard labels consistently underperforms an oracle calibrated directly on soft labels, with Brier Score gaps ranging from 0.002 to 0.134. The gap grows monotonically with model scale in the vision domain and on the SNLI-derived split of ChaosNLI, and is substantially larger in the language domain (mean gap 0.079) than in vision (mean gap 0.003). A scale-ordering reversal on the MNLI-derived split remains after matched-domain training; we treat it as inconclusive for the scale hypothesis and attribute it primarily to near-chance accuracy on that split. As a second post-hoc baseline, multiclass isotonic regression yields the same qualitative conclusion: positive soft-label gaps in all nine configurations, and larger gaps in language than in vision. These findings suggest that calibration protocols built on majority-vote labels systematically misstate model reliability wherever label ambiguity is structural, with direct consequences for deployment in safety-critical settings.
• Abstract（参考訳）: 温度スケーリングは、現代の深層学習において、保温後の校正方法として支配的なものである。 その理論上の正当性は、基調ラベルは1ホットで決定論的である、という明確な記述がほとんどない仮定に基づいている。 実際には、ラベルはしばしばソフトであり、クラウドソースであり、真の分布であり、アノテーションノイズよりも人間のアノテータ間の本当の相違を反映している。 この仮定に違反した場合, 温度スケーリングがキャリブレーション特性を維持するか, 結果の劣化がモデルスケールに依存するかを検討する。 CIFAR-10HとChaosNLIの2つの公開データセットを用いて,ハード・ワン・ホットとソフト・ディストリビューション・ラベル・ターゲットの両条件で3つのモデルスケールを評価した。 ハードラベルでキャリブレーションされた温度スケーリングは、ソフトラベルで直接キャリブレーションされたオラクルを、0.002から0.134の範囲で性能的に劣る。 このギャップは、視覚領域のモデルスケールとChaosNLIのSNLI由来の分割とともに単調に成長し、言語領域(平均ギャップ0.079)では視覚領域(平均ギャップ0.003)よりもかなり大きい。 MNLI由来のスプリットに対するスケールオーダー逆転は、マッチングドメイントレーニング後に残っており、スケール仮説の不決定性として扱い、主にそのスプリットにおけるニアチャンス精度を考慮に入れている。 2つ目のポストホックベースラインとして、マルチクラスイソトニック回帰は同じ質的な結論、すなわち9つの構成の全ての正のソフトラベルギャップ、視覚よりも言語における大きなギャップが得られる。 これらの結果から,ラベルのあいまいさが構造的であった場合であっても,無声ラベルを用いた校正プロトコルがシステム的に不整合モデル信頼性を損なうことが示唆された。

関連論文リスト

• A Quiet Failure in Calibrated Virtual Screening: Marginal Conformal Prediction Under-Covers the Minority Class, and a Class-Conditional Fix Recovers It [0.0]
  整形予測は、モデルの信頼性に正直な数字を付けるために、薬物発見に採用されている。 この保証は、不均衡なデータセットでは危険である可能性がある。 我々の貢献は、この既知の共形理論のギャップがいかに深刻で不可視であるかを実際の化学で実証することである。
  論文  参考訳（メタデータ） (2026-07-07T04:31:56Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• Confidence Calibration under Ambiguous Ground Truth [43.71398545904091]
  多数発声ラベルに装着したポストホックキャリブレータは、従来の評価ではよく校正される。 しかし、それらが根底にあるアノテータ分布に対してかなり誤解されている。 我々は,完全ラベル分布に対して適切なスコアリングルールを最適化する,あいまいさを意識したポストホックキャリブレータのファミリーを開発する。
  論文  参考訳（メタデータ） (2026-03-24T07:24:09Z)
• Classifier Calibration at Scale: An Empirical Study of Model-Agnostic Post-Hoc Methods [0.0]
  教師付き二項分類における確率的予測を改善するためのモデル非依存のポストホック校正法について検討した。 我々は、線形モデル、SVM、ツリーアンサンブル(CatBoost、XGBoost、LightGBM)を含む21の広く使われている分類器をベンチマークした。 一般的な校正手順,特にプラットスケーリングと等調回帰は,適切なスコアリング性能を体系的に低下させる可能性がある。
  論文  参考訳（メタデータ） (2026-01-19T18:23:36Z)
• DiCaP: Distribution-Calibrated Pseudo-labeling for Semi-Supervised Multi-Label Learning [83.94574004953346]
  半教師付きマルチラベル学習は、ラベルのないデータを活用してモデルの性能を向上させることを目的としている。 既存の手法の多くは、その品質に関わらず、すべての擬似ラベルに等しい重みを割り当てる。 擬似ラベル重みの校正に後部精度を推定する正当性認識フレームワークDiCaPを提案する。
  論文  参考訳（メタデータ） (2025-11-25T11:55:02Z)
• Practical estimation of the optimal classification error with soft labels and calibration [47.001801756596926]
  我々は,ベイズ誤差,最適誤差率を推定するために,ソフトラベルを用いた以前の研究を拡張した。 我々は、破損したソフトラベルによる推定という、より困難な問題に取り組みます。 私たちのメソッドはインスタンスフリーです。つまり、入力インスタンスへのアクセスを前提としません。
  論文  参考訳（メタデータ） (2025-05-27T06:04:57Z)
• Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
  リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。 スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
  論文  参考訳（メタデータ） (2025-03-11T01:45:42Z)
• Model Calibration in Dense Classification with Adaptive Label Perturbation [44.62722402349157]
  既存の密接な二分分類モデルは、過信される傾向がある。 本稿では,各トレーニング画像に対する独自のラベル摂動レベルを学習する適応ラベル摂動(ASLP)を提案する。 ASLPは、分布内および分布外の両方のデータに基づいて、密度の高い二分分類モデルの校正度を著しく改善することができる。
  論文  参考訳（メタデータ） (2023-07-25T14:40:11Z)
• DOMINO: Domain-aware Model Calibration in Medical Image Segmentation [51.346121016559024]
  現代のディープニューラルネットワークはキャリブレーションが不十分で、信頼性と信頼性を損なう。 本稿では,クラスラベル間のセマンティック・コンフューザビリティと階層的類似性を利用したドメイン認識モデルキャリブレーション手法であるDOMINOを提案する。 その結果,DOMINOを校正したディープニューラルネットワークは,頭部画像分割における非校正モデルや最先端形態計測法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-13T15:31:52Z)
• Federated Learning with Label Distribution Skew via Logits Calibration [26.98248192651355]
  本稿では,FLにおけるラベル分布スキューについて検討する。 本稿では,各クラスの発生確率に応じて,ソフトマックスクロスエントロピー前のロジットを校正するFedLCを提案する。 フェデレーションデータセットと実世界のデータセットの実験は、FedLCがより正確なグローバルモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2022-09-01T02:56:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。