論文の概要: $\mathscr{H}$-Consistency Estimation Error of Surrogate Loss Minimizers
- arxiv url: http://arxiv.org/abs/2205.08017v1
- Date: Mon, 16 May 2022 23:13:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 13:01:45.226921
- Title: $\mathscr{H}$-Consistency Estimation Error of Surrogate Loss Minimizers
- Title（参考訳）: サーロゲート損失最小値の$\mathscr{h}$-consistency estimation error
- Authors: Pranjal Awasthi, Anqi Mao, Mehryar Mohri, Yutao Zhong
- Abstract要約: 本稿では,サロゲート損失推定誤差の観点から推定誤差を詳細に検討する。
このような保証を$mathscrH$-consistency estimation error boundsと呼ぶ。
- 参考スコア（独自算出の注目度）: 38.56401704010528
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a detailed study of estimation errors in terms of surrogate loss
estimation errors. We refer to such guarantees as $\mathscr{H}$-consistency
estimation error bounds, since they account for the hypothesis set
$\mathscr{H}$ adopted. These guarantees are significantly stronger than
$\mathscr{H}$-calibration or $\mathscr{H}$-consistency. They are also more
informative than similar excess error bounds derived in the literature, when
$\mathscr{H}$ is the family of all measurable functions. We prove general
theorems providing such guarantees, for both the distribution-dependent and
distribution-independent settings. We show that our bounds are tight, modulo a
convexity assumption. We also show that previous excess error bounds can be
recovered as special cases of our general results.
We then present a series of explicit bounds in the case of the zero-one loss,
with multiple choices of the surrogate loss and for both the family of linear
functions and neural networks with one hidden-layer. We further prove more
favorable distribution-dependent guarantees in that case. We also present a
series of explicit bounds in the case of the adversarial loss, with surrogate
losses based on the supremum of the $\rho$-margin, hinge or sigmoid loss and
for the same two general hypothesis sets. Here too, we prove several
enhancements of these guarantees under natural distributional assumptions.
Finally, we report the results of simulations illustrating our bounds and their
tightness.
- Abstract（参考訳）: 本稿では,推定誤差のサーロゲート損失推定誤差について詳細に検討する。
そのような保証を $\mathscr{H}$-consistency estimation error bounds と呼ぶ。
これらの保証は$\mathscr{H}$-calibrationや$\mathscr{H}$-consistencyよりもはるかに強い。
また、$\mathscr{H}$ がすべての可測関数の族であるとき、文献から導かれる同様の過大な誤差境界よりも情報的である。
このような保証を提供する一般的な定理を,分布依存と分布非依存の両方において証明する。
境界が厳密であることを示し、凸性仮定をモデュロする。
また,過去の過大な誤差境界を,我々の一般結果の特別な場合として回収できることも示す。
次に、ゼロ1損失の場合、サロゲート損失の複数の選択、および1つの隠蔽層を持つ線形関数とニューラルネットワークのファミリーに対して、一連の明示的な境界を示す。
その場合、より好ましい分布依存保証が証明される。
また、逆数損失の場合には、$\rho$-margin, hinge あるいは sigmoid 損失の上限と、同じ2つの一般仮説集合の上限に基づいて、サロゲート損失を持つ一連の明示的な境界を示す。
ここでも,自然分布的仮定の下でこれらの保証のいくつかの強化を証明します。
最後に,我々の限界と厳密性を示すシミュレーションの結果を報告する。
関連論文リスト
- Enhanced $H$-Consistency Bounds [30.389055604165222]
条件付き後悔に関するより一般的な不等式に基づく拡張された$H$一貫性境界を確立するための枠組みを提案する。
我々の定理は、既存の結果を特別な場合とみなすが、様々なシナリオにおいてより好ましい境界の導出を可能にする。
これには、標準のマルチクラス分類、Tsybakovノイズ条件下でのバイナリクラスとマルチクラス分類、二部分類が含まれる。
論文 参考訳（メタデータ） (2024-07-18T17:22:40Z) - Fixed-Budget Differentially Private Best Arm Identification [62.36929749450298]
差分プライバシー制約下における固定予算制度における線形包帯のベストアーム識別(BAI)について検討した。
誤差確率に基づいてミニマックス下限を導出し、下限と上限が指数関数的に$T$で崩壊することを示した。
論文 参考訳（メタデータ） (2024-01-17T09:23:25Z) - Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。
これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。
これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
論文 参考訳（メタデータ） (2023-04-14T17:58:23Z) - New Lower Bounds for Private Estimation and a Generalized Fingerprinting
Lemma [10.176795938619417]
統計的推定タスクの新たな下限を$(varepsilon, delta)$-differential privacyの制約の下で証明する。
フロベニウスノルムの推定には$Omega(d2)$サンプルが必要であり、スペクトルノルムでは$Omega(d3/2)$サンプルが必要である。
論文 参考訳（メタデータ） (2022-05-17T17:55:10Z) - Robust Linear Regression for General Feature Distribution [21.0709900887309]
本研究では, 不正な相手によってデータが汚染されるような頑健な線形回帰について検討する。
必ずしもその機能が中心であるとは限らない。
特徴が中心ならば、標準収束率を得ることができる。
論文 参考訳（メタデータ） (2022-02-04T11:22:13Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Sequential prediction under log-loss and misspecification [47.66467420098395]
累積的後悔の観点から,ログロスに基づく逐次予測の問題を考える。
明確に特定され誤記された症例の累積的後悔が偶然に現れる。
分布自由あるいはPAC後悔を$o(1)$で特徴づける。
論文 参考訳（メタデータ） (2021-01-29T20:28:23Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳（メタデータ） (2020-12-31T18:24:41Z) - Relative Deviation Margin Bounds [55.22251993239944]
我々はRademacher複雑性の観点から、分布依存と一般家庭に有効な2種類の学習境界を与える。
有限モーメントの仮定の下で、非有界な損失関数に対する分布依存的一般化境界を導出する。
論文 参考訳（メタデータ） (2020-06-26T12:37:17Z) - Error bounds in estimating the out-of-sample prediction error using
leave-one-out cross validation in high-dimensions [19.439945058410203]
高次元状態におけるサンプル外リスク推定の問題について検討する。
広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。
この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
論文 参考訳（メタデータ） (2020-03-03T20:07:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。