論文の概要: Relative Deviation Margin Bounds
- arxiv url: http://arxiv.org/abs/2006.14950v2
- Date: Wed, 28 Oct 2020 18:05:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 21:04:19.303438
- Title: Relative Deviation Margin Bounds
- Title(参考訳): 相対偏差マージン境界
- Authors: Corinna Cortes and Mehryar Mohri and Ananda Theertha Suresh
- Abstract要約: 我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。
有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
- 参考スコア(独自算出の注目度): 55.22251993239944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a series of new and more favorable margin-based learning
guarantees that depend on the empirical margin loss of a predictor. We give two
types of learning bounds, both distribution-dependent and valid for general
families, in terms of the Rademacher complexity or the empirical $\ell_\infty$
covering number of the hypothesis set used. Furthermore, using our relative
deviation margin bounds, we derive distribution-dependent generalization bounds
for unbounded loss functions under the assumption of a finite moment. We also
briefly highlight several applications of these bounds and discuss their
connection with existing results.
- Abstract(参考訳): 我々は,予測者の経験的マージン損失に依存する,新たな,より好ましいマージンベースの学習保証を提示する。
ラデマッハの複雑性や経験値の$\ell_\infty$が使われる仮説集合の数に関して、分布に依存し、一般家族に有効である2種類の学習境界を与える。
さらに, 相対偏差マージン境界を用いて, 有限モーメントを仮定した非有界損失関数の分布依存一般化境界を求める。
また、これらの境界のいくつかの応用を簡潔に取り上げ、既存の結果との関係について論じる。
関連論文リスト
- Enhanced $H$-Consistency Bounds [30.389055604165222]
条件付き後悔に関するより一般的な不等式に基づく拡張された$H$一貫性境界を確立するための枠組みを提案する。
我々の定理は、既存の結果を特別な場合とみなすが、様々なシナリオにおいてより好ましい境界の導出を可能にする。
これには、標準のマルチクラス分類、Tsybakovノイズ条件下でのバイナリクラスとマルチクラス分類、二部分類が含まれる。
論文 参考訳(メタデータ) (2024-07-18T17:22:40Z) - On Regularization and Inference with Label Constraints [62.60903248392479]
機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。
正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。
制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
論文 参考訳(メタデータ) (2023-07-08T03:39:22Z) - Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。
我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
論文 参考訳(メタデータ) (2023-05-31T08:13:14Z) - Generalization Analysis for Contrastive Representation Learning [80.89690821916653]
既存の一般化誤差境界は負の例の数$k$に線形に依存する。
対数項まで$k$に依存しないコントラスト学習のための新しい一般化境界を確立する。
論文 参考訳(メタデータ) (2023-02-24T01:03:56Z) - A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized
Linear Models [33.36787620121057]
ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。
私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。
ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
論文 参考訳(メタデータ) (2022-10-21T16:16:55Z) - On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。
我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
論文 参考訳(メタデータ) (2022-10-12T12:49:20Z) - $\mathscr{H}$-Consistency Estimation Error of Surrogate Loss Minimizers [38.56401704010528]
本稿では,サロゲート損失推定誤差の観点から推定誤差を詳細に検討する。
このような保証を$mathscrH$-consistency estimation error boundsと呼ぶ。
論文 参考訳(メタデータ) (2022-05-16T23:13:36Z) - Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。
演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文 参考訳(メタデータ) (2022-01-21T02:46:57Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳(メタデータ) (2021-12-07T01:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。