論文の概要: Predictor-Rejector Multi-Class Abstention: Theoretical Analysis and Algorithms
- arxiv url: http://arxiv.org/abs/2310.14772v2
- Date: Sun, 31 Mar 2024 09:05:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-02 15:25:00.673269
- Title: Predictor-Rejector Multi-Class Abstention: Theoretical Analysis and Algorithms
- Title（参考訳）: 予測ジェクタ・リジェクタ マルチクラス留意:理論解析とアルゴリズム
- Authors: Anqi Mao, Mehryar Mohri, Yutao Zhong,
- Abstract要約: マルチクラス分類設定において,留意を伴う学習の鍵となる枠組みについて検討する。
この設定では、学習者は事前に定義されたコストで予測をしないことを選択できる。
我々は、強い非漸近的および仮説的整合性を保証するために、いくつかの新しい代理損失の族を導入する。
- 参考スコア（独自算出の注目度）: 30.389055604165222
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the key framework of learning with abstention in the multi-class classification setting. In this setting, the learner can choose to abstain from making a prediction with some pre-defined cost. We present a series of new theoretical and algorithmic results for this learning problem in the predictor-rejector framework. We introduce several new families of surrogate losses for which we prove strong non-asymptotic and hypothesis set-specific consistency guarantees, thereby resolving positively two existing open questions. These guarantees provide upper bounds on the estimation error of the abstention loss function in terms of that of the surrogate loss. We analyze both a single-stage setting where the predictor and rejector are learned simultaneously and a two-stage setting crucial in applications, where the predictor is learned in a first stage using a standard surrogate loss such as cross-entropy. These guarantees suggest new multi-class abstention algorithms based on minimizing these surrogate losses. We also report the results of extensive experiments comparing these algorithms to the current state-of-the-art algorithms on CIFAR-10, CIFAR-100 and SVHN datasets. Our results demonstrate empirically the benefit of our new surrogate losses and show the remarkable performance of our broadly applicable two-stage abstention algorithm.
- Abstract（参考訳）: マルチクラス分類設定において,留意を伴う学習の鍵となる枠組みについて検討する。
この設定では、学習者は事前に定義されたコストで予測をしないことを選択できる。
本稿では,この学習問題に対する理論的およびアルゴリズム的な新しい結果のシリーズを,予測器・リジェクタフレームワークに提示する。
そこで我々は, 強い非漸近的および仮説的整合性の保証を証明し, 既存の2つのオープンな疑問を正に解決する, 代理損失の新たなファミリーをいくつか導入する。
これらの保証は、サロゲート損失の推定誤差について、サロゲート損失の推定値の上限を与える。
予測器とリジェクタを同時に学習するシングルステージ設定と,アプリケーションにおいて重要な2段階設定の両方を分析し,クロスエントロピーなどの標準的なサロゲート損失を用いて第1段階で予測器を学習する。
これらの保証は、これらのサロゲート損失を最小限に抑えた新しいマルチクラス禁忌アルゴリズムを示唆している。
また、CIFAR-10, CIFAR-100, SVHNデータセット上で、これらのアルゴリズムを現在の最先端アルゴリズムと比較する広範な実験結果について報告する。
以上の結果から,新たなサロゲート損失のメリットを実証的に証明し,広く適用可能な2段階停止アルゴリズムの顕著な性能を示した。
関連論文リスト
- Regression with Multi-Expert Deferral [30.389055604165222]
複数の専門家で予測を遅延させる学習は、学習者が複数の専門家に予測を遅延させることを選択できるフレームワークである。
本稿では、複数の専門家に予測を延期することを含む、遅延を伴う新しい回帰の枠組みを提案する。
両シナリオに新たなサロゲート損失関数を導入し,これらが$H$一貫性境界でサポートされていることを証明した。
論文 参考訳（メタデータ） (2024-03-28T15:26:38Z) - Misclassification excess risk bounds for 1-bit matrix completion [0.0]
本研究では, 1ビット行列完備化の文脈において, 過度な誤分類リスクについて検討した。
マトリックスの完成は、様々な分野にまたがる様々な応用のために、過去20年間にかなりの注目を集めてきた。
論文 参考訳（メタデータ） (2023-12-20T11:42:49Z) - Principled Approaches for Learning to Defer with Multiple Experts [30.389055604165222]
マルチエキスパート設定に特化して,新たなサロゲート損失のファミリーを導入する。
これらのサロゲート損失は、強い$H$一貫性境界の恩恵を受けることを証明している。
論文 参考訳（メタデータ） (2023-10-23T10:19:09Z) - Theoretically Grounded Loss Functions and Algorithms for Score-Based Multi-Class Abstention [30.389055604165222]
禁断損失関数に対する代用損失の新たなファミリーを導入する。
我々はこれらのサロゲート損失に対して、非漸近的で仮説固有の一貫性を保証する。
以上の結果から,最新のスコアベースサロゲート損失の相対的性能はデータセットによって異なる可能性が示唆された。
論文 参考訳（メタデータ） (2023-10-23T10:13:35Z) - A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment
for Imbalanced Learning [129.63326990812234]
そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。
この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
論文 参考訳（メタデータ） (2023-10-07T09:15:08Z) - Ranking with Abstention [27.3569897539488]
そこで本研究では,学習者が限られたコストで予測を行うのを阻止できる,控えめなランキングの枠組みを紹介した。
線形関数の族と1つの隠れ層を持つニューラルネットワークの両方に対して、一連の$H$一貫性境界を示す。
論文 参考訳（メタデータ） (2023-07-05T05:37:13Z) - A Generalized Unbiased Risk Estimator for Learning with Augmented
Classes [70.20752731393938]
ラベルなしのデータが与えられた場合、非バイアスリスク推定器(URE)が導出され、理論的保証のあるLACでは最小限にすることができる。
理論的な保証を維持しつつ任意の損失関数を装備できる一般化されたUREを提案する。
論文 参考訳（メタデータ） (2023-06-12T06:52:04Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳（メタデータ） (2021-10-29T13:30:42Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳（メタデータ） (2021-07-28T05:18:10Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳（メタデータ） (2020-06-18T19:04:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。