論文の概要: A Canary in the Neural Mine: Catching an Image Classifier's Silent, Confident Failures
- arxiv url: http://arxiv.org/abs/2610.33063v1
- Date: Mon, 19 Oct 2026 14:41:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.234092
- Title: A Canary in the Neural Mine: Catching an Image Classifier's Silent, Confident Failures
- Title(参考訳): ニューラルマイニングのカナリア:画像分類器の静かで信頼できない失敗に対処する
- Abstract要約: Canary(カナリア)は、極小特徴のPCA残差のクラス毎のkNN距離を計算する訓練不要検出器である。
カナリアは5つのバックボーンにまたがる385のシフト細胞382と一致または改善する。
- 参考スコア(独自算出の注目度): 5.053354418366577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deployed vision models auto-accept confident predictions, so high-confidence errors propagate silently. Maximum Softmax Probability (MSP), the standard failure predictor, has a structural blind spot: as a scalar read from the classifier head, it is first-order blind to feature variation orthogonal to its confidence gradient. Through a factorial analysis of feature-space detectors, we identify a conditional-redundancy principle explaining why they fail to complement MSP: the class-separability geometry they measure is already encoded in MSP and collapses under fusion. The signal that survives is class-conditional typicality on the off-manifold residual---and because this residual's distribution varies by backbone, from near-Gaussian to heavy-tailed, it must be estimated non-parametrically. We instantiate these findings as CANARY, a training-free detector that computes a per-class kNN distance on the PCA residual of the penultimate feature, percentile-calibrates it on validation data, and fuses it with MSP through a single validation-tuned weight. CANARY's benefit follows a headroom law: gains grow as baseline MSP quality falls, so a single clean-validation number forecasts the improvement. With every parameter selected on in-distribution data alone, CANARY matches or improves 382 of 385 shift cells (e-AURC; 379 on AUROC) across five backbones, with worst-case regression within seed noise ($-0.0002$ AUROC) and the largest gains on natural distribution shifts (ImageNet-A/R, ObjectNet)---where deployed models are most exposed.
- Abstract(参考訳): デプロイされたビジョンモデルは自信のある予測を自動的に受け入れるので、高信頼のエラーは静かに伝播する。
標準故障予測器である最大ソフトマックス確率 (MSP) は構造的盲点を持つ: スカラーが分類器ヘッドから読み取ると、その信頼性勾配に直交する特徴変化を特徴視する。
特徴空間検出器の因子分析を通じて、なぜMSPを補うことができないのかを説明する条件付き冗長原理を同定する。
生き残る信号はオフマンフォールド残差のクラス条件の典型性であり、この残差の分布はガウス近距離から重尾まで、バックボーンによって変化するため、非パラメトリックに推定されなければならない。
CANaryはPCAのPCA残差のクラス毎kNN距離を計算し、検証データに基づいてパーセンタイル校正し、単一の検証調整重みでMSPと融合する訓練不要検出器である。
基準となるMSPの品質が低下するにつれて、CANaryの利益は増大するので、1つのクリーンバリデーション番号が改善を予測します。
分散データだけで選択されたパラメータはすべて、5つのバックボーンにまたがる385のシフトセル(e-AURC; 379 on AUROC)の382をマッチまたは改善し、シードノイズ(-0.0002$ AUROC)の中で最悪のレグレッションを持つ。
関連論文リスト
- PosteriorBench: From Point Estimates to Posterior Matching in Evaluating Generative Inverse Solvers [58.87583368961845]
PosteriorBenchは、生成的逆解器の分布精度を評価するためのベンチマークである。
ダーシーフローの逆転、ポアソン源の回復、炭素捕獲と貯蔵、光輸送物質推論の4つの物理に基づく逆問題を評価する。
論文 参考訳(メタデータ) (2026-09-17T17:54:12Z) - EDGE: a closed-form directed test for the calibration of probabilistic binary classifiers [0.0]
本稿では,正規確率分類器の校正テストであるEDGEを提案し,ロジスティック回帰法を提案する。
EDGEは、同一のビン付き予測観測テーブルを信頼性図のプロットとして読み出し、その標準化されたビン残差をスムーズなキャリブレーション歪みの小さな前提に投影する。
リンクと特徴の相違により、既定のデフォルトが22のシナリオのうち、19のシナリオで全ての競合するビン付きテストに導かれるか、あるいは結び付けられ、再適合ベースのStukelスコアテストが20%から28%のサンプルで分離される場合、計算可能のままであった。
論文 参考訳(メタデータ) (2026-08-20T19:06:05Z) - $TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval [7.679660052685777]
ディープニューラルネットワークは、しばしば過信であり、誤った予測にも高い信頼を割り当てる。
既存のターゲットは、重複する信頼値を正しい予測と間違った予測に割り当てる一方、決定境界付近のエラーは正しい予測と区別できない信頼スコアを受け取る。
提案するTCP_$は,不特定サンプルに対してマージン制御されたペナルティを導入することで,これらの制限を解消する新しい信頼度ターゲットである。
論文 参考訳(メタデータ) (2026-08-20T17:58:50Z) - Sample-Adaptive Latent Rewards for Uncertainty-Guided Diffusion Post-Training [51.18425726646089]
我々は、画像とビデオの拡散モデルのための統合潜在空間フレームワークであるtextscSUREを提案する。
報酬分布を学習し、信頼性を直接利用して、密集したポストトレーニングをガイドする。
textscSURE-REFLは評価手法の中で最も高いVBench品質、セマンティック、総得点を達成する。
論文 参考訳(メタデータ) (2026-08-06T14:55:42Z) - Mind the Residual Gap: Probabilistic Downscaling under Real-World Bias [11.400279490725042]
確率的なダウンスケーリングは、大気科学、気候モデリング、その他のマルチスケール物理システムにとって重要な課題である。
広く使われているパラダイムは、問題を決定論的平均予測器に分解し、続いて残留発生器に分解する。
本研究は,根本原因が標的誤診であり,訓練中に誘発される残差分布は,下降バイアスにより試験時間に要求されるものと体系的に異なることを示す。
論文 参考訳(メタデータ) (2026-06-29T18:47:34Z) - How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。
因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。
本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
論文 参考訳(メタデータ) (2026-06-10T21:07:49Z) - A Confidence-Variance Theory for Pseudo-Label Selection in Semi-Supervised Learning [15.149171763610662]
本稿では,疑似ラベル選択のための基本的共同信頼性基準を提供する信頼分散(CoVar)理論フレームワークを提案する。
信頼性の高い擬似ラベルは高いMCと低いRCVの両方を持つべきであり,信頼性が向上するにつれてRCVの影響が増大することを示す。
我々は,CoVarをプラグインモジュールとして,半教師付きセマンティックセマンティックセグメンテーションや画像分類手法に統合する。
論文 参考訳(メタデータ) (2026-01-16T02:51:59Z) - How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks [1.4502611532302039]
我々は,ロジットの単純な$p$-norm正規化を行い,次に最大ロジットを信頼度推定器とすることで,選択的分類性能が著しく向上することを示した。
我々の結果は、分布シフトの下で一貫していることが示されている。
論文 参考訳(メタデータ) (2023-05-24T18:56:55Z) - Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
論文 参考訳(メタデータ) (2023-01-25T19:35:23Z) - Evaluating probabilistic classifiers: Reliability diagrams and score
decompositions revisited [68.8204255655161]
確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。
コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
論文 参考訳(メタデータ) (2020-08-07T08:22:26Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。