論文の概要: A Universal Growth Rate for Learning with Smooth Surrogate Losses
- arxiv url: http://arxiv.org/abs/2405.05968v1
- Date: Thu, 9 May 2024 17:59:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-10 12:43:04.386988
- Title: A Universal Growth Rate for Learning with Smooth Surrogate Losses
- Title（参考訳）: 平滑なサロゲート損失による学習の普遍的成長率
- Authors: Anqi Mao, Mehryar Mohri, Yutao Zhong,
- Abstract要約: 2進分類におけるスムーズなマージンベースサロゲート損失に対して,0付近の平方根成長速度を証明した。
我々は、この分析を、一連の新しい結果でマルチクラス分類に拡張する。
- 参考スコア（独自算出の注目度）: 30.389055604165222
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a comprehensive analysis of the growth rate of $H$-consistency bounds (and excess error bounds) for various surrogate losses used in classification. We prove a square-root growth rate near zero for smooth margin-based surrogate losses in binary classification, providing both upper and lower bounds under mild assumptions. This result also translates to excess error bounds. Our lower bound requires weaker conditions than those in previous work for excess error bounds, and our upper bound is entirely novel. Moreover, we extend this analysis to multi-class classification with a series of novel results, demonstrating a universal square-root growth rate for smooth comp-sum and constrained losses, covering common choices for training neural networks in multi-class classification. Given this universal rate, we turn to the question of choosing among different surrogate losses. We first examine how $H$-consistency bounds vary across surrogates based on the number of classes. Next, ignoring constants and focusing on behavior near zero, we identify minimizability gaps as the key differentiating factor in these bounds. Thus, we thoroughly analyze these gaps, to guide surrogate loss selection, covering: comparisons across different comp-sum losses, conditions where gaps become zero, and general conditions leading to small gaps. Additionally, we demonstrate the key role of minimizability gaps in comparing excess error bounds and $H$-consistency bounds.
- Abstract（参考訳）: 本稿では,分類に使用される種々の代理損失に対する$H$-consistency bounds(および過剰なエラー境界)の成長速度を包括的に分析する。
本研究では,2進分類におけるスムーズなマージンベースサロゲート損失に対して,0付近の平方根成長速度を証明し,軽度の仮定の下で上界と下界の両方を提供する。
この結果は過大なエラー境界にも変換される。
我々の下限は、過大な誤差境界に対する以前の研究よりも弱い条件を必要としており、上限は完全に新しい。
さらに、この分析を新しい結果を用いてマルチクラス分類に拡張し、スムーズな和和と制約付き損失に対する普遍的な平方根成長率を示し、マルチクラス分類におけるニューラルネットワークのトレーニングの一般的な選択をカバーした。
この普遍率を考えると、我々は異なる代理損失の中から選ぶという問題に目を向ける。
まず、クラス数に基づいて、Surrogate間で$H$-consistencyのバウンダリがどのように異なるかを検討する。
次に、定数を無視し、ゼロに近い振る舞いに焦点を合わせ、最小化可能性ギャップをこれらの境界における重要な微分因子として同定する。
そこで我々は,これらのギャップを網羅的に解析し,サロゲート損失選択の導出を行う。
さらに、過大なエラー境界と$H$-一貫性境界を比較する際に、最小化可能性ギャップの鍵となる役割を示す。
関連論文リスト
- Enhanced $H$-Consistency Bounds [30.389055604165222]
条件付き後悔に関するより一般的な不等式に基づく拡張された$H$一貫性境界を確立するための枠組みを提案する。
我々の定理は、既存の結果を特別な場合とみなすが、様々なシナリオにおいてより好ましい境界の導出を可能にする。
これには、標準のマルチクラス分類、Tsybakovノイズ条件下でのバイナリクラスとマルチクラス分類、二部分類が含まれる。
論文 参考訳（メタデータ） (2024-07-18T17:22:40Z) - Top-$k$ Classification and Cardinality-Aware Prediction [30.389055604165222]
和和と制約付き損失は、上位の$k$損失に対する$H$一貫性境界によって支持されることを示す。
本稿では、インスタンス依存型コスト依存学習を通じて、基数認識損失関数を導入する。
これらの損失を最小限に抑えることで、トップ$kの分類のための新しい濃度認識アルゴリズムが生まれる。
論文 参考訳（メタデータ） (2024-03-28T17:45:03Z) - Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。
それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。
次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
論文 参考訳（メタデータ） (2023-08-13T14:05:24Z) - The Adversarial Consistency of Surrogate Risks for Binary Classification [20.03511985572199]
逆行訓練は、各例が小さなボール内で悪質に破損する可能性がある場合に、予想される0$-$1$損失を最小限にすることを目指している。
我々は、一貫した代理損失関数の集合の単純かつ完全な特徴づけを与える。
本結果から, 逆一貫したサロゲートのクラスは, 標準設定よりもかなり小さいことが明らかとなった。
論文 参考訳（メタデータ） (2023-05-17T05:27:40Z) - Multiclass learning with margin: exponential rates with no bias-variance
trade-off [16.438523317718694]
最適境界条件下でのマルチクラス分類における誤差境界の挙動について検討する。
異なる収束速度は異なるマージンの仮定に対応して得られる。
論文 参考訳（メタデータ） (2022-02-03T18:57:27Z) - Constrained Classification and Policy Learning [0.0]
制約付き分類器の集合における代理損失手順の整合性について検討する。
ヒンジ損失が第2のベストシナリオにおける一貫性を維持する唯一のサロゲート損失であることを示す。
論文 参考訳（メタデータ） (2021-06-24T10:43:00Z) - Lower-bounded proper losses for weakly supervised classification [73.974163801142]
本稿では,弱いラベルが与えられた分類の弱い教師付き学習の問題について議論する。
サベージ表現を双対化する教師付き学習における適切な損失を表す表現定理を導出する。
提案手法の有効性を,不適切な損失や非有界損失と比較して実験的に実証した。
論文 参考訳（メタデータ） (2021-03-04T08:47:07Z) - Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。
有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文 参考訳（メタデータ） (2020-06-26T12:37:17Z) - Provable tradeoffs in adversarially robust classification [96.48180210364893]
我々は、ロバストなイソペリメトリに関する確率論の最近のブレークスルーを含む、新しいツールを開発し、活用する。
この結果から,データの不均衡時に増加する標準精度とロバスト精度の基本的なトレードオフが明らかになった。
論文 参考訳（メタデータ） (2020-06-09T09:58:19Z) - Calibrated Surrogate Losses for Adversarially Robust Classification [92.37268323142307]
線形モデルに制限された場合の逆0-1損失に対して凸代理損失は考慮されないことを示す。
また,Massartの雑音条件を満たす場合,対向条件下では凸損失も校正可能であることを示す。
論文 参考訳（メタデータ） (2020-05-28T02:40:42Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。