論文の概要: LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels
- arxiv url: http://arxiv.org/abs/2609.26839v1
- Date: Tue, 22 Sep 2026 00:41:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.696228
- Title: LWCal: Loss-Weighted Calibration for Tabular Classifiers with Noisy Calibration Labels
- Title（参考訳）: LWCal:雑音校正ラベル付き語彙分類器の損失重み付き校正
- Abstract要約: ポストホック確率キャリブレーションは通常、楽観的な仮定の下で評価される。
本稿では,CPUのみのポストホックキャリブレータであるLWCalを提案する。
第2の変種であるGated-LWCalは、キャリブレーション分割が極めて矛盾しているように見えるとき、元のスコアに向かって後退する保守的な不一致ゲートを追加する。
- 参考スコア（独自算出の注目度）: 22.23301921278794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Post-hoc probability calibration is usually evaluated under an optimistic assumption: the held-out calibration labels are clean. In many AI deployment settings, however, labels come from weak annotators, historical decisions, heuristics, or distant supervision, so the same label noise that corrupts training also corrupts calibration. We study this overlooked failure mode for tabular classifiers and propose LWCal, a CPU-only post-hoc calibrator that down-weights calibration examples whose noisy labels are contradicted by the base model's held-out probability. LWCal requires no clean validation labels, no noise-rate estimate, and no retraining of the base classifier. A second variant, Gated-LWCal, adds a conservative disagreement gate that backs off toward the raw score when the calibration split appears extremely inconsistent. On nine local binary tabular tasks, six random seeds, symmetric and asymmetric label corruption, and three tree-based base learners, LWCal obtains the lowest average calibration error while Gated-LWCal obtains the best average proper-score tradeoff. In the main random-forest study over 432 noisy cells, Gated-LWCal reduces expected calibration error from 0.188 to 0.122 and negative log likelihood from 0.438 to 0.396 relative to the raw classifier. Paired bootstrap intervals for Gated-LWCal versus raw, Platt, isotonic, and beta calibration exclude zero on ECE, Brier score, and NLL. The artifact contains all scripts, result tables, figures, and the compiled paper.
- Abstract（参考訳）: ポストホックの確率キャリブレーションは通常楽観的な仮定で評価され、ホールドアウトのキャリブレーションラベルはクリーンである。
しかし、多くのAIデプロイメント設定では、ラベルは弱いアノテータ、歴史的な決定、ヒューリスティックス、あるいは遠方からの監視に由来するため、トレーニングを損なうのと同じラベルノイズも校正を損なう。
タブ型分類器の故障モードについて検討し,CPUのみのポストホックキャリブレータであるLWCalを提案し,ノイズラベルがベースモデルの保留確率に矛盾するダウンウェイトキャリブレーション例を提案する。
LWCalはクリーンな検証ラベルもノイズレート推定もベース分類器の再訓練も不要である。
第2の変種であるGated-LWCalは、キャリブレーション分割が極めて矛盾しているように見えるとき、元のスコアに向かって後退する保守的な不一致ゲートを追加する。
Gated-LWCalは、9つの局所二分表タスク、6つのランダムシード、対称および非対称ラベルの破損、3つの木に基づくベース学習者に対して、最小平均校正誤差を得る一方、Gated-LWCalは最高平均固有スコアトレードオフを得る。
Gated-LWCalは、432個のノイズのある細胞に関する主要なランダム・フォレスト研究において、期待されるキャリブレーション誤差を0.188から0.122に、負のログ確率を0.438から0.396に減少させる。
Gated-LWCal vs raw, Platt, isotonic, βキャリブレーションに対するブートストラップ間隔は, ECE, Brier score, NLLではゼロであった。
アーティファクトには、すべてのスクリプト、結果テーブル、図形、およびコンパイルされた紙が含まれている。
関連論文リスト
- How to Estimate Whether You Have Found Several Needles in a Haystack: Measuring Calibration in Multi-Label Text Classification [79.91711484993074]
ほとんどの信頼性キャリブレーション指標はバイナリやマルチクラスのタスクを対象としていますが、マルチラベルキャリブレーションは未検討のままです。
ラベルに期待されるキャリブレーション誤差を計算するための既存のバイナリスキームは、誤りを過小評価するか、単にラベル周波数を反映するか、あるいは非常に少ないインスタンスで多くのビンに悩まされているかを示す。
本稿では,正と負のラベルの割り当てに等しい重みを与える新しいビンニング手法を提案する。
論文 参考訳（メタデータ） (2026-09-22T14:15:54Z) - EDGE: a closed-form directed test for the calibration of probabilistic binary classifiers [0.0]
本稿では,正規確率分類器の校正テストであるEDGEを提案し,ロジスティック回帰法を提案する。
EDGEは、同一のビン付き予測観測テーブルを信頼性図のプロットとして読み出し、その標準化されたビン残差をスムーズなキャリブレーション歪みの小さな前提に投影する。
リンクと特徴の相違により、既定のデフォルトが22のシナリオのうち、19のシナリオで全ての競合するビン付きテストに導かれるか、あるいは結び付けられ、再適合ベースのStukelスコアテストが20%から28%のサンプルで分離される場合、計算可能のままであった。
論文 参考訳（メタデータ） (2026-08-20T19:06:05Z) - Temperature Scaling Is Not Enough: Calibration Gaps Under Human Label Distributions [0.0]
この仮定に違反した場合,温度スケーリングがキャリブレーション特性を維持するかどうかを検討した。
硬質ラベルの温度スケーリングは、軟質ラベル上で直接オラクルを過小評価する。
これらの結果は, ラベルのあいまいさが構造的であった場合であっても, 多数投票ラベル上に構築された校正プロトコルが系統的に不整合モデル信頼性を損なうことを示唆している。
論文 参考訳（メタデータ） (2026-07-15T03:52:06Z) - The Verification Tax: Fundamental Limits of AI Auditing in the Rare-Error Regime [0.0]
最も引用されているキャリブレーションの結果は、CIFAR-100上での温度スケーリング後のECEの0.012は、統計的ノイズフロアより下である。
モデル誤差率のエプシロンによるキャリブレーション誤差を推定するミニマックスレートは Theta((Lepsilon/m)2/3) であり、推定器が打ち負かせない。
論文 参考訳（メタデータ） (2026-04-14T16:48:24Z) - Confidence Calibration under Ambiguous Ground Truth [43.71398545904091]
多数発声ラベルに装着したポストホックキャリブレータは、従来の評価ではよく校正される。
しかし、それらが根底にあるアノテータ分布に対してかなり誤解されている。
我々は,完全ラベル分布に対して適切なスコアリングルールを最適化する,あいまいさを意識したポストホックキャリブレータのファミリーを開発する。
論文 参考訳（メタデータ） (2026-03-24T07:24:09Z) - Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning [53.9713678229744]
MIPL(Multi-instance partial-label Learning)は、インスタンス空間とラベル空間の両方において、不正確な監督の課題に対処する弱い教師付きフレームワークである。
既存のMIPLアプローチは、しばしばキャリブレーションが悪く、信頼性を損なう。
分類精度と校正性能を同時に向上するプラグアンドプレイ校正型曖昧さ損失(CDL)を提案する。
論文 参考訳（メタデータ） (2025-12-19T16:58:31Z) - Practical estimation of the optimal classification error with soft labels and calibration [47.001801756596926]
我々は,ベイズ誤差,最適誤差率を推定するために,ソフトラベルを用いた以前の研究を拡張した。
我々は、破損したソフトラベルによる推定という、より困難な問題に取り組みます。
私たちのメソッドはインスタンスフリーです。つまり、入力インスタンスへのアクセスを前提としません。
論文 参考訳（メタデータ） (2025-05-27T06:04:57Z) - Towards Certification of Uncertainty Calibration under Adversarial Attacks [96.48317453951418]
攻撃はキャリブレーションを著しく損なう可能性を示し, 対向的摂動下でのキャリブレーションにおける最悪のキャリブレーション境界として認定キャリブレーションを提案する。
我々は,新しいキャリブレーション攻撃を提案し,テクスタディバーショナルキャリブレーショントレーニングによりモデルキャリブレーションを改善する方法を示す。
論文 参考訳（メタデータ） (2024-05-22T18:52:09Z) - Class Prototype-based Cleaner for Label Noise Learning [73.007001454085]
半教師付き学習法は、雑音ラベル学習問題に対する現在のSOTAソリューションである。
textbfClass textbfPrototype-based label textbfCleaner。
論文 参考訳（メタデータ） (2022-12-21T04:56:41Z) - Top-label calibration [3.3504365823045044]
マルチクラス分類におけるポストホックキャリブレーションの問題点について検討し,ヒストグラム・バイニングに着目した。
信頼度キャリブレーションという一般的な概念は十分に強くはないことが分かっています -- 意味のある方法でキャリブレーションされていないが、完全に信頼度キャリブレーションされている予測器が存在するのです。
本稿では,信頼度キャリブレーションの直感と単純さを正確に捉えつつも,その欠点に対処する,密接に関連する(微妙に異なる)概念であるトップラベルキャリブレーションを提案する。
論文 参考訳（メタデータ） (2021-07-18T03:27:50Z) - Localized Calibration: Metrics and Recalibration [133.07044916594361]
完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。
次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
論文 参考訳（メタデータ） (2021-02-22T07:22:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。