論文の概要: Predictor-Rejector Multi-Class Abstention: Theoretical Analysis and
Algorithms
- arxiv url: http://arxiv.org/abs/2310.14772v1
- Date: Mon, 23 Oct 2023 10:16:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 20:58:45.132927
- Title: Predictor-Rejector Multi-Class Abstention: Theoretical Analysis and
Algorithms
- Title（参考訳）: 予測器・リジェクタ・マルチクラスアブステンション:理論的解析とアルゴリズム
- Authors: Anqi Mao, Mehryar Mohri, Yutao Zhong
- Abstract要約: マルチクラス分類設定において,留意を伴う学習の鍵となる枠組みについて検討する。
この設定では、学習者は事前に定義されたコストで予測をしないことを選択できる。
我々は、強い非漸近的および仮説的整合性を保証するために、いくつかの新しい代理損失の族を導入する。
- 参考スコア（独自算出の注目度）: 34.154253063812625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the key framework of learning with abstention in the multi-class
classification setting. In this setting, the learner can choose to abstain from
making a prediction with some pre-defined cost. We present a series of new
theoretical and algorithmic results for this learning problem in the
predictor-rejector framework. We introduce several new families of surrogate
losses for which we prove strong non-asymptotic and hypothesis set-specific
consistency guarantees, thereby resolving positively two existing open
questions. These guarantees provide upper bounds on the estimation error of the
abstention loss function in terms of that of the surrogate loss. We analyze
both a single-stage setting where the predictor and rejector are learned
simultaneously and a two-stage setting crucial in applications, where the
predictor is learned in a first stage using a standard surrogate loss such as
cross-entropy. These guarantees suggest new multi-class abstention algorithms
based on minimizing these surrogate losses. We also report the results of
extensive experiments comparing these algorithms to the current
state-of-the-art algorithms on CIFAR-10, CIFAR-100 and SVHN datasets. Our
results demonstrate empirically the benefit of our new surrogate losses and
show the remarkable performance of our broadly applicable two-stage abstention
algorithm.
- Abstract（参考訳）: 本研究は,多クラス分類における禁忌学習の鍵となる枠組みについて検討する。
この設定では、学習者は事前に定義されたコストで予測を行うことを回避できる。
本稿では,この学習問題に対する新しい理論的,アルゴリズム的結果の連続を予測器-リジェクタフレームワークで提示する。
我々は,非漸近的かつ仮説的集合特異的な一貫性保証を証明し,既存の2つの疑問を正解するサーロゲート損失のファミリーをいくつか紹介する。
これらの保証は、サロゲート損失の値の観点から、吸収損失関数の推定誤差の上限を与える。
予測器とリジェクタを同時に学習するシングルステージ設定と,アプリケーションにおいて重要な2段階設定の両方を分析し,クロスエントロピーなどの標準的なサロゲート損失を用いて第1段階で予測器を学習する。
これらの保証は、これらのサロゲート損失を最小化することに基づく、新しいマルチクラスアブステンションアルゴリズムを示唆する。
また,これらのアルゴリズムをcifar-10,cifar-100,svhnデータセットの最先端アルゴリズムと比較した実験結果について報告する。
その結果,新しいサーロゲート損失の利点を実証し,広く適用可能な2段階アブステンションアルゴリズムの性能を示すことができた。
関連論文リスト
- Regression with Multi-Expert Deferral [30.389055604165222]
複数の専門家で予測を遅延させる学習は、学習者が複数の専門家に予測を遅延させることを選択できるフレームワークである。
本稿では、複数の専門家に予測を延期することを含む、遅延を伴う新しい回帰の枠組みを提案する。
両シナリオに新たなサロゲート損失関数を導入し,これらが$H$一貫性境界でサポートされていることを証明した。
論文 参考訳（メタデータ） (2024-03-28T15:26:38Z) - Misclassification excess risk bounds for 1-bit matrix completion [0.0]
本研究では, 1ビット行列完備化の文脈において, 過度な誤分類リスクについて検討した。
マトリックスの完成は、様々な分野にまたがる様々な応用のために、過去20年間にかなりの注目を集めてきた。
論文 参考訳（メタデータ） (2023-12-20T11:42:49Z) - Principled Approaches for Learning to Defer with Multiple Experts [30.389055604165222]
マルチエキスパート設定に特化して,新たなサロゲート損失のファミリーを導入する。
これらのサロゲート損失は、強い$H$一貫性境界の恩恵を受けることを証明している。
論文 参考訳（メタデータ） (2023-10-23T10:19:09Z) - Theoretically Grounded Loss Functions and Algorithms for Score-Based Multi-Class Abstention [30.389055604165222]
禁断損失関数に対する代用損失の新たなファミリーを導入する。
我々はこれらのサロゲート損失に対して、非漸近的で仮説固有の一貫性を保証する。
以上の結果から,最新のスコアベースサロゲート損失の相対的性能はデータセットによって異なる可能性が示唆された。
論文 参考訳（メタデータ） (2023-10-23T10:13:35Z) - A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳（メタデータ） (2023-10-07T09:15:08Z) - Ranking with Abstention [27.3569897539488]
そこで本研究では,学習者が限られたコストで予測を行うのを阻止できる,控えめなランキングの枠組みを紹介した。
線形関数の族と1つの隠れ層を持つニューラルネットワークの両方に対して、一連の$H$一貫性境界を示す。
論文 参考訳（メタデータ） (2023-07-05T05:37:13Z) - A Generalized Unbiased Risk Estimator for Learning with Augmented
Classes [70.20752731393938]
ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。
理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
論文 参考訳（メタデータ） (2023-06-12T06:52:04Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳（メタデータ） (2021-10-29T13:30:42Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳（メタデータ） (2021-07-28T05:18:10Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳（メタデータ） (2020-06-18T19:04:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。