論文の概要: Know When to Abstain: Optimal Selective Classification with Likelihood Ratios

• arxiv url: http://arxiv.org/abs/2505.15008v1
• Date: Wed, 21 May 2025 01:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.807123
• Title: Know When to Abstain: Optimal Selective Classification with Likelihood Ratios
• Title（参考訳）: 達成すべき時期を知る: 同好比による最適選択分類
• Authors: Alvin Heng, Harold Soh,
• Abstract要約: 我々は、Neyman-Pearson補題のレンズを通して最適な選択関数の設計を再考する。 この視点は、いくつかのポストホック選択ベースラインの挙動を統一し、選択分類への新たなアプローチを動機付けていることを示す。 提案手法は,教師付き学習モデルと視覚言語モデルの両方を含む,様々な視覚・言語タスクにまたがって評価する。
• 参考スコア（独自算出の注目度）: 10.317060648446828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Selective classification enhances the reliability of predictive models by allowing them to abstain from making uncertain predictions. In this work, we revisit the design of optimal selection functions through the lens of the Neyman--Pearson lemma, a classical result in statistics that characterizes the optimal rejection rule as a likelihood ratio test. We show that this perspective not only unifies the behavior of several post-hoc selection baselines, but also motivates new approaches to selective classification which we propose here. A central focus of our work is the setting of covariate shift, where the input distribution at test time differs from that at training. This realistic and challenging scenario remains relatively underexplored in the context of selective classification. We evaluate our proposed methods across a range of vision and language tasks, including both supervised learning and vision-language models. Our experiments demonstrate that our Neyman--Pearson-informed methods consistently outperform existing baselines, indicating that likelihood ratio-based selection offers a robust mechanism for improving selective classification under covariate shifts. Our code is publicly available at https://github.com/clear-nus/sc-likelihood-ratios.
• Abstract（参考訳）: 選択分類は、不確実な予測をすることを禁じることによって予測モデルの信頼性を高める。 本研究では,最適回帰則を確率比検定として特徴づける統計学の古典的な結果であるNeyman-Pearson lemma のレンズによる最適選択関数の設計を再考する。 この視点は、いくつかのポストホック選択ベースラインの挙動を統一するだけでなく、ここで提案する選択分類への新たなアプローチを動機付けている。 我々の研究の中心は共変量シフトの設定であり、そこではテスト時の入力分布とトレーニング時の入力分布が異なる。 この現実的で挑戦的なシナリオは、選択的な分類の文脈において比較的過小評価されている。 提案手法は,教師付き学習モデルと視覚言語モデルの両方を含む,様々な視覚・言語タスクにまたがって評価する。 実験により,我々のNeyman-Pearson-informed法は既存のベースラインを一貫して上回ることを示した。 私たちのコードはhttps://github.com/clear-nus/sc-likelihood-ratiosで公開されています。

関連論文リスト

• Deep Neural Network Benchmarks for Selective Classification [27.098996474946446]
  複数の選択的な分類フレームワークが存在し、その多くはディープニューラルネットワークアーキテクチャに依存している。 提案手法は,選択誤差率,経験的カバレッジ,拒否されたインスタンスのクラス分布,アウト・オブ・ディストリビューション・インスタンスの性能など,いくつかの基準を用いて評価する。
  論文  参考訳（メタデータ） (2024-01-23T12:15:47Z)
• How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks [1.4502611532302039]
  我々は,ロジットの単純な$p$-norm正規化を行い,次に最大ロジットを信頼度推定器とすることで,選択的分類性能が著しく向上することを示した。 我々の結果は、分布シフトの下で一貫していることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T18:56:55Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• AUC-based Selective Classification [5.406386303264086]
  選択関数を与えられたバイナリ分類器に関連付けるためのモデルに依存しない手法を提案する。 このような目的を達成するために、理論的正当化と$AUCross$と呼ばれる新しいアルゴリズムの両方を提供する。 実験によると、$AUCross$はAUCのトレードオフカバレッジに成功し、精度を最適化することを目的とした既存の選択的な分類方法を改善している。
  論文  参考訳（メタデータ） (2022-10-19T16:29:50Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
  選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。 禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。 我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
  論文  参考訳（メタデータ） (2020-10-27T08:51:30Z)
• Selective Classification via One-Sided Prediction [54.05407231648068]
  片側予測(OSP)に基づく緩和は、実際に関係する高目標精度体制において、ほぼ最適カバレッジが得られるSCスキームをもたらす。 理論的には,SCとOSPのバウンダリ一般化を導出し,その手法が小さな誤差レベルでのカバレッジにおいて,技術手法の状態を強く上回ることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。