論文の概要: Theoretically Grounded Loss Functions and Algorithms for Score-Based Multi-Class Abstention

• arxiv url: http://arxiv.org/abs/2310.14770v1
• Date: Mon, 23 Oct 2023 10:13:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 20:58:07.803445
• Title: Theoretically Grounded Loss Functions and Algorithms for Score-Based Multi-Class Abstention
• Title（参考訳）: スコアベースマルチクラスアテンションのための理論的基盤化ロス関数とアルゴリズム
• Authors: Anqi Mao, Mehryar Mohri, Yutao Zhong
• Abstract要約: 禁断損失関数に対する代用損失の新たなファミリーを導入する。 我々はこれらのサロゲート損失に対して、非漸近的で仮説固有の一貫性を保証する。 以上の結果から,最新のスコアベースサロゲート損失の相対的性能はデータセットによって異なる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 34.154253063812625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning with abstention is a key scenario where the learner can abstain from making a prediction at some cost. In this paper, we analyze the score-based formulation of learning with abstention in the multi-class classification setting. We introduce new families of surrogate losses for the abstention loss function, which include the state-of-the-art surrogate losses in the single-stage setting and a novel family of loss functions in the two-stage setting. We prove strong non-asymptotic and hypothesis set-specific consistency guarantees for these surrogate losses, which upper-bound the estimation error of the abstention loss function in terms of the estimation error of the surrogate loss. Our bounds can help compare different score-based surrogates and guide the design of novel abstention algorithms by minimizing the proposed surrogate losses. We experimentally evaluate our new algorithms on CIFAR-10, CIFAR-100, and SVHN datasets and the practical significance of our new surrogate losses and two-stage abstention algorithms. Our results also show that the relative performance of the state-of-the-art score-based surrogate losses can vary across datasets.
• Abstract（参考訳）: 控えめな学習は、学習者が何らかのコストで予測をすることを妨げる重要なシナリオである。 本稿では,多クラス分類設定における学習の留意点による定式化について分析する。 本稿では, 単一段階における最先端のサロゲート損失と, 2段階における新たな損失関数のファミリーを含む, 吸収損失関数の新たなファミリーを紹介する。 本研究では,これらのサロゲート損失に対する非漸近的・仮説的整合性の強い保証を証明し,サロゲート損失の推定誤差を推定誤差の観点から上界に示す。 我々の境界は異なるスコアに基づくサロゲートを比較するのに役立ち、提案されたサロゲート損失を最小化することで、新しいアブステンションアルゴリズムの設計を導くことができる。 我々は,cifar-10,cifar-100,svhnデータセットの新たなアルゴリズムを実験的に評価し,新たなサロゲート損失と2段階停止アルゴリズムの実用的意義について検討した。 また,最新のスコアベースサロゲート損失の相対的性能は,データセットによって異なることを示す。

関連論文リスト

• EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
  経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。 まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。 理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-09-02T02:40:42Z)
• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Cardinality-Aware Set Prediction and Top-$k$ Classification [33.00927499966789]
  低濃度を維持しながら、正確なk$集合予測器を学習することを目的とした、新しいアプローチを提案する。 この設定に合わせた新たな目標損失関数を導入し、予測された集合の分類誤差と濃度の両方を考慮に入れた。 これらの損失関数の最小化は、我々が詳細に記述した新しい濃度認識アルゴリズムに繋がる。
  論文  参考訳（メタデータ） (2024-07-09T17:57:07Z)
• Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric [99.19559537966538]
  DMLは、分類、クラスタリング、検索といった下流タスクのための識別可能な高次元埋め込み空間を学習することを目的としている。 埋め込み空間の構造を維持し,特徴の崩壊を避けるために,反崩壊損失と呼ばれる新しい損失関数を提案する。 ベンチマークデータセットの総合実験により,提案手法が既存の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-03T13:44:20Z)
• Top-$k$ Classification and Cardinality-Aware Prediction [30.389055604165222]
  和和と制約付き損失は、上位の$k$損失に対する$H$一貫性境界によって支持されることを示す。 本稿では、インスタンス依存型コスト依存学習を通じて、基数認識損失関数を導入する。 これらの損失を最小限に抑えることで、トップ$kの分類のための新しい濃度認識アルゴリズムが生まれる。
  論文  参考訳（メタデータ） (2024-03-28T17:45:03Z)
• Predictor-Rejector Multi-Class Abstention: Theoretical Analysis and Algorithms [30.389055604165222]
  マルチクラス分類設定において,留意を伴う学習の鍵となる枠組みについて検討する。 この設定では、学習者は事前に定義されたコストで予測をしないことを選択できる。 我々は、強い非漸近的および仮説的整合性を保証するために、いくつかの新しい代理損失の族を導入する。
  論文  参考訳（メタデータ） (2023-10-23T10:16:27Z)
• Learning with Multiclass AUC: Theory and Algorithms [141.63211412386283]
  ROC曲線 (AUC) の下の領域は、不均衡学習やレコメンダシステムといった問題に対するよく知られたランキング基準である。 本稿では,マルチクラスAUCメトリクスを最適化することで,多クラススコアリング関数を学習する問題について検討する。
  論文  参考訳（メタデータ） (2021-07-28T05:18:10Z)
• A Symmetric Loss Perspective of Reliable Machine Learning [87.68601212686086]
  平衡誤差率 (BER) の最小化において, 対称損失が破損ラベルからのロバストな分類をいかに生み出すかを検討する。 我々は、関連するキーワードからのみ学習したい問題において、AUC手法が自然言語処理にどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2021-01-05T06:25:47Z)
• Adversarially Robust Learning via Entropic Regularization [31.6158163883893]
  我々は、敵対的に堅牢なディープニューラルネットワークを訓練するための新しいアルゴリズムATENTを提案する。 我々の手法は、頑健な分類精度の観点から、競争力(またはより良い)性能を達成する。
  論文  参考訳（メタデータ） (2020-08-27T18:54:43Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)
• Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
  線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。 また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-28T02:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。