論文の概要: How Much Can Reliability Drift Under a Fixed Confidence Distribution?
- arxiv url: http://arxiv.org/abs/2609.38917v1
- Date: Wed, 30 Sep 2026 04:02:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.156461
- Title: How Much Can Reliability Drift Under a Fixed Confidence Distribution?
- Title（参考訳）: 信頼度分布の固定化による信頼性の低下はどの程度可能か?
- Abstract要約: 信頼性分布が全く同じである間、分類器の条件精度は変化しうることを示す。
我々は再重み付けを信頼ビン内の学習された有限読み出しに制限する。
探索ラベル置換診断(Exploratory label-permutation diagnosis)は、この統計にほぼゼロの一致をもたらす。
- 参考スコア（独自算出の注目度）: 14.727396825167917
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A classifier's conditional accuracy can change while its confidence distribution stays exactly the same. We study the worst-case movement of the reliability relation under covariate shifts that preserve the distribution of the confidence score, constraining the reweighting within each confidence level by a $χ^2$ budget; the resulting worst case, as a function of the budget, is a fragility profile. On an interval of budgets that can be computed from the source distribution, the profile equals exactly the square root of the budget times the within-level variance of the correctness propensity -- the grouping-loss term of calibration-refinement decompositions. Beyond this interval the profile is governed by the tails of the propensity law, and the entire upward profile determines the centred within-level law; consequently, calibration residual and grouping variance do not determine fragility in general, though they do when labels and predictions are deterministic. Since the propensity is not observed, we restrict reweightings to a learned finite readout within confidence bins, bound the part the restriction misses by the grouping variance remaining inside readout cells, estimate the restricted profile with role-separated labels, and provide a separate split-sample lower confidence bound. On ImageNet this bound is positive in both splits for four of six primary classifiers and nine of twelve additional ones as released, and for three of eighteen after temperature scaling. Held-out drift under optimised reweightings fitted without evaluation labels tracks the estimated profile; an exploratory label-permutation diagnostic yields near-zero agreement for this statistic while largely reproducing the correlation observed for unsigned random reweightings.
- Abstract（参考訳）: 分類器の条件精度は、その信頼性分布が全く同じである間に変化する。
信頼性スコアの分布を保った共変量シフトの下での信頼性関係の最悪の動きについて検討し、各信頼度レベルにおける再重み付けを予算で1ドル^2$で制限する。
ソース分布から計算できる予算の間隔において、プロファイルは予算の平方根と正当性確率のレベル内分散、すなわちキャリブレーション-リファインメント分解のグルーピング-ロス項とを正確に等しい。
この区間を超えて、プロファイルは相対性法則の尾に支配され、上向きのプロファイル全体が中心となる内部法則を決定する。
再現性は観察されないため、信頼ビン内の学習された有限読み出しに制限し、読み出しセル内に残されているグループ化分散によって制限が欠落する部分を制限し、制限プロファイルをロール分離ラベルで推定し、分離された分割サンプル低信頼境界を提供する。
ImageNetでは、このバウンダリは6つのプライマリ分類器のうち4つと、リリース時に12の新たな分類器のうち9つと、温度スケーリング後の18の3つの分割で陽性である。
評価ラベルのない最適再重み付け条件下でのヘルドアウトドリフトは、推定されたプロファイルを追跡する; 探索ラベル置換診断は、この統計量に対してほぼゼロの一致を示し、符号なしのランダム再重み付けで観測された相関をほぼ再現する。
関連論文リスト
- Beyond Verbalized Confidence: Calibrating Reasoners with Differentiable Readouts [57.65087348754571]
検証可能な報酬(RLVR)による強化学習は、モデルに正しい回答を与えるよう推論するモデルを訓練するが、その信頼性が校正されることは保証しない。
近年の手法では、RLVRループ内のキャリブレーションを、モデルが応答に付随して数値的信頼度を持たせることで訓練しているが、これらはすべてテキストとしてサンプリングすることで信頼性を得る。
我々は、サンプリングを決定論的読み出しに置き換えるためにCREDO(Confidence REaDOut)を提案する。
論文 参考訳（メタデータ） (2026-09-28T10:47:41Z) - Sharp training-conditional coverage for conformal prediction under covariate shift [0.0]
重み付き分割共形予測リウェイト 度合による校正スコア
キャリブレーションデータに基づくカバレッジ条件について検討する。
2点下界は、ルートmレートとカイ二乗寄与がシフトに固有のものであることを示している。
論文 参考訳（メタデータ） (2026-09-27T11:08:32Z) - Beyond Marginal Validity: Finite-Sample Guarantees for Localized Conformal Prediction [25.59471163637912]
コンフォーマル予測は、有限サンプルで分布のない辺縁被覆を持つ任意のブラックボックス予測子を与える。
我々は、条件付き妥当性とオラクル効率を協調的に制御する実現された局所集合に対して有限サンプル保証を提供する。
スコアがピボットスコアを目標とする場合、均一な局所保証は固定スコアキャリブレーションと均一なスコア推定誤差に分解される。
論文 参考訳（メタデータ） (2026-08-06T15:59:57Z) - Discovery of Hidden Miscalibration Regimes [52.452902154360565]
モデルは何らかの入力を体系的に過信し、他人を過信することがある。
対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。
提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
論文 参考訳（メタデータ） (2026-05-13T13:07:50Z) - A Confidence-Variance Theory for Pseudo-Label Selection in Semi-Supervised Learning [15.149171763610662]
本稿では,疑似ラベル選択のための基本的共同信頼性基準を提供する信頼分散(CoVar)理論フレームワークを提案する。
信頼性の高い擬似ラベルは高いMCと低いRCVの両方を持つべきであり,信頼性が向上するにつれてRCVの影響が増大することを示す。
我々は,CoVarをプラグインモジュールとして,半教師付きセマンティックセマンティックセグメンテーションや画像分類手法に統合する。
論文 参考訳（メタデータ） (2026-01-16T02:51:59Z) - Calibrated Decomposition of Aleatoric and Epistemic Uncertainty in Deep Features for Inference-Time Adaptation [3.018583625592182]
ほとんどの推定器は、全ての不確実性モードを単一の信頼スコアに分解し、いつより多くの計算を割り当てるか、あるいは推論を調整するべきかについての信頼性の高い推論を防ぐ。
非確実性誘導推論時間選択(Uncertainty-Guided Inference-Time Selection)は,データ駆動型(データ駆動型)とモデル駆動型不確実性を,深い特徴空間で直接的に解消する軽量な推論時間フレームワークである。
論文 参考訳（メタデータ） (2025-11-15T23:47:30Z) - Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - Beyond calibration: estimating the grouping loss of modern neural
networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文 参考訳（メタデータ） (2022-10-28T07:04:20Z) - Learning Calibrated Uncertainties for Domain Shift: A Distributionally
Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。
特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。
提案手法は下流タスクに有利な校正不確実性を生成する。
論文 参考訳（メタデータ） (2020-10-08T02:10:54Z) - Distribution-free binary classification: prediction sets, confidence
intervals and calibration [106.50279469344937]
分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。
固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。
我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
論文 参考訳（メタデータ） (2020-06-18T14:17:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。