論文の概要: Theoretically Grounded Loss Functions and Algorithms for Score-Based
Multi-Class Abstention
- arxiv url: http://arxiv.org/abs/2310.14770v1
- Date: Mon, 23 Oct 2023 10:13:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 20:58:07.803445
- Title: Theoretically Grounded Loss Functions and Algorithms for Score-Based
Multi-Class Abstention
- Title(参考訳): スコアベースマルチクラスアテンションのための理論的基盤化ロス関数とアルゴリズム
- Authors: Anqi Mao, Mehryar Mohri, Yutao Zhong
- Abstract要約: 禁断損失関数に対する代用損失の新たなファミリーを導入する。
我々はこれらのサロゲート損失に対して、非漸近的で仮説固有の一貫性を保証する。
以上の結果から,最新のスコアベースサロゲート損失の相対的性能はデータセットによって異なる可能性が示唆された。
- 参考スコア(独自算出の注目度): 34.154253063812625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning with abstention is a key scenario where the learner can abstain from
making a prediction at some cost. In this paper, we analyze the score-based
formulation of learning with abstention in the multi-class classification
setting. We introduce new families of surrogate losses for the abstention loss
function, which include the state-of-the-art surrogate losses in the
single-stage setting and a novel family of loss functions in the two-stage
setting. We prove strong non-asymptotic and hypothesis set-specific consistency
guarantees for these surrogate losses, which upper-bound the estimation error
of the abstention loss function in terms of the estimation error of the
surrogate loss. Our bounds can help compare different score-based surrogates
and guide the design of novel abstention algorithms by minimizing the proposed
surrogate losses. We experimentally evaluate our new algorithms on CIFAR-10,
CIFAR-100, and SVHN datasets and the practical significance of our new
surrogate losses and two-stage abstention algorithms. Our results also show
that the relative performance of the state-of-the-art score-based surrogate
losses can vary across datasets.
- Abstract(参考訳): 控えめな学習は、学習者が何らかのコストで予測をすることを妨げる重要なシナリオである。
本稿では,多クラス分類設定における学習の留意点による定式化について分析する。
本稿では, 単一段階における最先端のサロゲート損失と, 2段階における新たな損失関数のファミリーを含む, 吸収損失関数の新たなファミリーを紹介する。
本研究では,これらのサロゲート損失に対する非漸近的・仮説的整合性の強い保証を証明し,サロゲート損失の推定誤差を推定誤差の観点から上界に示す。
我々の境界は異なるスコアに基づくサロゲートを比較するのに役立ち、提案されたサロゲート損失を最小化することで、新しいアブステンションアルゴリズムの設計を導くことができる。
我々は,cifar-10,cifar-100,svhnデータセットの新たなアルゴリズムを実験的に評価し,新たなサロゲート損失と2段階停止アルゴリズムの実用的意義について検討した。
また,最新のスコアベースサロゲート損失の相対的性能は,データセットによって異なることを示す。
関連論文リスト
- Predictor-Rejector Multi-Class Abstention: Theoretical Analysis and
Algorithms [34.154253063812625]
マルチクラス分類設定において,留意を伴う学習の鍵となる枠組みについて検討する。
この設定では、学習者は事前に定義されたコストで予測をしないことを選択できる。
我々は、強い非漸近的および仮説的整合性を保証するために、いくつかの新しい代理損失の族を導入する。
論文 参考訳(メタデータ) (2023-10-23T10:16:27Z) - Tightening the Approximation Error of Adversarial Risk with Auto Loss
Function Search [12.263913626161155]
一般的な評価手法は、モデルの逆方向リスクをロバスト性指標として近似することである。
本稿では,エラーを厳格化するための損失関数を探索する最初の手法であるAutoLoss-ARを提案する。
その結果,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2021-11-09T11:47:43Z) - Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。
本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
論文 参考訳(メタデータ) (2021-07-28T05:18:10Z) - On Codomain Separability and Label Inference from (Noisy) Loss Functions [11.780563744330038]
本稿では,任意の(ノイズの多い)損失関数値からラベル推論が可能となる必要かつ十分な条件を検討するために,コドメイン分離性の概念を導入する。
一般的なアクティベーション機能を持つマルチクラスクロスエントロピーや,ブレグマンの発散に基づく損失を含む,多くの一般的な損失関数に対して,任意の雑音レベルに対するラベル推論攻撃を設計可能であることを示す。
論文 参考訳(メタデータ) (2021-07-07T05:29:53Z) - Constrained Classification and Policy Learning [0.0]
制約付き分類器の集合における代理損失手順の整合性について検討する。
ヒンジ損失が第2のベストシナリオにおける一貫性を維持する唯一のサロゲート損失であることを示す。
論文 参考訳(メタデータ) (2021-06-24T10:43:00Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z) - A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。
我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
論文 参考訳(メタデータ) (2021-01-05T06:25:47Z) - Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。
我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
論文 参考訳(メタデータ) (2020-08-27T18:54:43Z) - An Equivalence between Loss Functions and Non-Uniform Sampling in
Experience Replay [72.23433407017558]
非一様サンプルデータを用いて評価された損失関数は、別の一様サンプルデータ損失関数に変換可能であることを示す。
驚いたことに、いくつかの環境では、PERは経験的パフォーマンスに影響を与えることなく、この新たな損失関数に完全に置き換えることができる。
論文 参考訳(メタデータ) (2020-07-12T17:45:24Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳(メタデータ) (2020-06-18T19:04:09Z) - Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。
また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
論文 参考訳(メタデータ) (2020-05-28T02:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。