論文の概要: How Many Labels Does Model Choice Need? Certificates and Budgets for Selective Prediction
- arxiv url: http://arxiv.org/abs/2609.18622v1
- Date: Wed, 16 Sep 2026 13:10:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.814394
- Title: How Many Labels Does Model Choice Need? Certificates and Budgets for Selective Prediction
- Title(参考訳): モデル選択に必要なラベルはいくつあるか? 選択予測のための証明書と予算
- Abstract要約: 信頼度は同じ誤差を重み付けする。
事前ラベルの低い境界は、不十分な予算を除外する。
信頼スコアの選択は、正確な選択のために1万のラベルの68-91%を読み取る。
- 参考スコア(独自算出の注目度): 0.02538209532048866
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classifiers can make identical predictions yet require labels to compare their selective performance: confidence ranks weight the same errors differently. We quantify this requirement for the area under the generalized risk-coverage curve (AUGRC). A prelabel lower bound rules out insufficient budgets. With all labels known, a covering linear program bounds the minimum number of labels sufficient to fix the winner (the certificate size) within $K-1$ labels for $K$ candidates. For fixed $K$, independent uniform orders and identical predictions, the prelabel bound approaches one quarter of the pool. With iid Bernoulli errors independent of the orders, every exact acquisition policy reads almost all labels asymptotically, although a two-candidate certificate needs only half. Across 108 feature-panel comparisons on nine datasets, disagreement labels settle every accuracy choice but no AUGRC choice. A 20% budget is ruled out in 96 conditions; certificates need 56-57% on average. On ten conditions with pretrained image classifiers, confidence-score choice reads 68-91% of 10,000 labels for exact selection and 50-67% with AUGRC tolerance $5\times10^{-4}$. An exact stopping test works with any acquisition order. Together, these results link confidence ranks to label budgets and certified model comparison.
- Abstract(参考訳): 分類器は同一の予測を行うことができるが、ラベルはそれらの選択的な性能を比較する必要がある。
一般化リスク被覆曲線 (AUGRC) の下で, この領域の要件を定量化する。
事前ラベルの低い境界は、不十分な予算を除外する。
すべてのラベルが知られている場合、カバー線形プログラムは、$K$の候補に対して$K-1$のラベルで勝者(証明書のサイズ)を修正するのに十分な最小限のラベルを境界とする。
固定された$K、独立な一様順序と同一の予測に対して、プレラベル境界はプールの4分の1に近づく。
iid Bernoulliが命令とは無関係に誤りを犯すと、全ての正確な取得ポリシーは、ほぼすべてのラベルが漸近的に読まれる。
9つのデータセットに関する108のフィーチャーパネル比較では、不一致ラベルはすべての正確性の選択を解決しているが、AUGRCの選択はない。
20%の予算は96の条件で除外され、証明書の平均は56-57%である。
事前訓練された画像分類器を持つ10の条件において、信頼スコアの選択は1万ラベルのうち68-91%を正確に選択し、50-67%をAUGRC耐性5\times10^{-4}$で読み取る。
正確な停止テストは、任意の取得順序で動作します。
これらの結果は、信頼度ランキングをラベル予算と認定モデル比較にリンクさせる。
関連論文リスト
- Multi-Label Test-Time Adaptation with Bayesian Conditional Priors [15.878958356965159]
Conditional Priors Estimation (BCP) は、バックボーンをチューニングせずにラベル依存性を注入する勾配のないテスト時間適応法である。
BCPは、未ラベルのテストストリームからアンカー条件の事前値をオンラインで推定することで、ターゲットアノテーションなしで動作します。
BCPは、標準のマルチラベルベンチマークと複数のCLIPバックボーンで、強力なTTAベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-06-11T05:29:00Z) - Selective Labeling with False Discovery Rate Control [18.821115689561253]
我々は、AI予測を確実に信頼できるインスタンスを識別する新しい方法であるtextbfConformal Labelingを紹介する。
これは、選択されたサブセット内の誤ったラベルの割合である偽発見率(FDR)を制御することで達成される。
特に,AIモデルの予測信頼度と,AIモデルの誤ラベルによる校正インスタンスの信頼度を比較することで,各テストインスタンスに対してコンフォーマルな$p$-valueを構築する。
論文 参考訳(メタデータ) (2025-10-16T11:39:00Z) - Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。
我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
論文 参考訳(メタデータ) (2025-03-07T08:41:53Z) - Powerful batch conformal prediction for classification [0.9374652839580183]
ラベル付けされていない例のラベルに推論するために、$n$ラベル付き例の校正サンプルが観察される。
共形$p$-値の組み合わせで有効な推論を行うための一般的なレシピを提供する。
また、バッチスコアを集約し、さらに強力な方法も導入しています。
論文 参考訳(メタデータ) (2024-11-04T16:32:13Z) - Generating Unbiased Pseudo-labels via a Theoretically Guaranteed
Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。
本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。
チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
論文 参考訳(メタデータ) (2023-11-03T08:39:35Z) - Semi-Supervised Learning with Pseudo-Negative Labels for Image
Classification [14.100569951592417]
擬陰性ラベルに基づく相互学習フレームワークを提案する。
擬似負ラベルの予測確率を下げることにより、二重モデルは予測能力を向上させることができる。
我々のフレームワークは、いくつかの主要なベンチマークで最先端の結果を達成する。
論文 参考訳(メタデータ) (2023-01-10T14:15:17Z) - Learning with Proper Partial Labels [87.65718705642819]
部分ラベル学習は、不正確なラベルを持つ弱い教師付き学習の一種である。
この適切な部分ラベル学習フレームワークには,従来の部分ラベル学習設定が数多く含まれていることを示す。
次に、分類リスクの統一的非バイアス推定器を導出する。
論文 参考訳(メタデータ) (2021-12-23T01:37:03Z) - Instance-Dependent Partial Label Learning [69.49681837908511]
部分ラベル学習は、典型的には弱教師付き学習問題である。
既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。
本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
論文 参考訳(メタデータ) (2021-10-25T12:50:26Z) - RankingMatch: Delving into Semi-Supervised Learning with Consistency
Regularization and Ranking Loss [3.5893231087319655]
ラベル付きデータに制限がある場合、ラベル付きデータを活用する上で、半教師付き学習(SSL)が重要な役割を果たす。
そこで我々は,摂動入力だけでなく,同じラベルを持つ入力間の類似性も考慮する新しい手法である RankingMatch を提案する。
当社の RankingMatch は,さまざまなラベル付きデータ量を持つ標準SSLベンチマークにおいて,最先端のパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2021-10-09T01:54:29Z) - A Study on the Autoregressive and non-Autoregressive Multi-label
Learning [77.11075863067131]
本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。
したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
論文 参考訳(メタデータ) (2020-12-03T05:41:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。