論文の概要: What Does It Take to Build a Performant Selective Classifier?

• arxiv url: http://arxiv.org/abs/2510.20242v1
• Date: Thu, 23 Oct 2025 05:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:17.440895
• Title: What Does It Take to Build a Performant Selective Classifier?
• Title（参考訳）: 高性能選択型分類器の構築には何が必要か?
• Authors: Stephan Rabanser, Nicolas Papernot,
• Abstract要約: ベイズノイズ,近似誤差,ランキング誤差,統計的ノイズ,実装またはシフト誘起スラックについて検討した。 我々は,合成2モードデータと実世界のビジョンと言語ベンチマークを用いて,その分解を検証した。 その結果, (i)ベイズノイズとモデル容量の制限は, 実質的なギャップを考慮し, (ii) よりリッチで特徴を考慮したキャリブレータのみを有意義に改善し, (iii) データシフトは, 分散的に堅牢なトレーニングを必要とするスラックを別々に導入することを確認した。
• 参考スコア（独自算出の注目度）: 30.90225954725644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Selective classifiers improve model reliability by abstaining on inputs the model deems uncertain. However, few practical approaches achieve the gold-standard performance of a perfect-ordering oracle that accepts examples exactly in order of correctness. Our work formalizes this shortfall as the selective-classification gap and present the first finite-sample decomposition of this gap to five distinct sources of looseness: Bayes noise, approximation error, ranking error, statistical noise, and implementation- or shift-induced slack. Crucially, our analysis reveals that monotone post-hoc calibration -- often believed to strengthen selective classifiers -- has limited impact on closing this gap, since it rarely alters the model's underlying score ranking. Bridging the gap therefore requires scoring mechanisms that can effectively reorder predictions rather than merely rescale them. We validate our decomposition on synthetic two-moons data and on real-world vision and language benchmarks, isolating each error component through controlled experiments. Our results confirm that (i) Bayes noise and limited model capacity can account for substantial gaps, (ii) only richer, feature-aware calibrators meaningfully improve score ordering, and (iii) data shift introduces a separate slack that demands distributionally robust training. Together, our decomposition yields a quantitative error budget as well as actionable design guidelines that practitioners can use to build selective classifiers which approximate ideal oracle behavior more closely.
• Abstract（参考訳）: 選択型分類器は、入力を控えることでモデルの信頼性を向上させる。 しかし、正しさの順に例を正確に受け入れる完全順序のオラクルのゴールドスタンダードのパフォーマンスを達成する実践的なアプローチはほとんどない。 我々の研究は、この欠点を選択的分類ギャップとして定式化し、このギャップの最初の有限サンプル分解を、ベイズノイズ、近似誤差、ランキング誤差、統計的ノイズ、実装またはシフト誘起スラックの5つの異なるゆらぎの源に提示する。 重要な点として、我々の分析は、単調後の校正(しばしば選択分類器の強化と信じられている)がこのギャップを閉じることに制限があることを明らかにした。 そのため、ギャップを埋めるためには、単に再スケールするのではなく、効果的に予測を並べ替えることができるスコアリング機構が必要である。 我々は,合成2モードデータと実世界のビジョンと言語ベンチマークの分解を検証し,各エラー成分を制御実験により分離する。 我々の結果はそれを裏付ける (i)ベイズノイズと限定モデル容量は、実質的なギャップを考慮に入れることができる。 (二)より豊かで特徴対応のキャリブレータのみで、スコアオーダを有意義に改善し、 (iii)データシフトは、分散的に堅牢なトレーニングを要求する別個のスラックを導入します。 この分解によって定量的なエラー予算が得られ、また実践者がより緊密に理想的なオラクルの振る舞いを近似した選択型分類器を構築できる実用的な設計ガイドラインが得られます。

関連論文リスト

• A Novel Framework for Uncertainty Quantification via Proper Scores for Classification and Beyond [1.5229257192293202]
  本稿では,機械学習における不確実性定量化のための新しい枠組みを提案する。 具体的には、カーネルベースの適切なスコアであるカーネルスコアを用いて、サンプルベースの生成モデルを評価する。 キャリブレーション・シャープネスの分解を分類を超えて一般化し、適切なキャリブレーション誤差の定義を動機付ける。
  論文  参考訳（メタデータ） (2025-08-25T13:11:03Z)
• Consistency-based Abductive Reasoning over Perceptual Errors of Multiple Pre-trained Models in Novel Environments [5.5855749614100825]
  本稿では,複数の事前学習モデルを活用することで,このリコール低減を緩和できるという仮説を述べる。 我々は,一貫性に基づく推論問題として,様々なモデルからの矛盾する予測を特定し,管理することの課題を定式化する。 本研究は,複数の不完全なモデルから得られた知識を,難易度の高い新しいシナリオにおいて堅牢に統合するための効果的なメカニズムとして,一貫性に基づく誘拐の有効性を検証するものである。
  論文  参考訳（メタデータ） (2025-05-25T23:17:47Z)
• Ask for More Than Bayes Optimal: A Theory of Indecisions for Classification [1.8434042562191815]
  選択的分類は、リスクの高いシナリオにおける自動意思決定のための強力なツールである。 私たちのゴールは、自動ではない観察である不確定の数を最小化することです。 不確定性を用いることで、ベイズ最適誤差率以下であっても、ユーザ指定レベルの誤分類率を制御することができる。
  論文  参考訳（メタデータ） (2024-12-17T11:25:51Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。