論文の概要: Exploring Local Norms in Exp-concave Statistical Learning
- arxiv url: http://arxiv.org/abs/2302.10726v1
- Date: Tue, 21 Feb 2023 15:22:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 14:45:39.097583
- Title: Exploring Local Norms in Exp-concave Statistical Learning
- Title(参考訳): exp-concave統計学習における局所ノルムの検討
- Authors: Nikita Puchkin, Nikita Zhivotovskiy
- Abstract要約: 本稿では,経験的リスク最小化を用いた凸クラスにおけるexp-concave損失を考慮した凸最適化の問題点について考察する。
O( d / n + log( 1 / delta) / n )$over risk bound for a wide class of bounded exp-concave loss。
- 参考スコア(独自算出の注目度): 4.721069729610892
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of stochastic convex optimization with exp-concave
losses using Empirical Risk Minimization in a convex class. Answering a
question raised in several prior works, we provide a $O( d / n + \log( 1 /
\delta) / n )$ excess risk bound valid for a wide class of bounded exp-concave
losses, where $d$ is the dimension of the convex reference set, $n$ is the
sample size, and $\delta$ is the confidence level. Our result is based on a
unified geometric assumption on the gradient of losses and the notion of local
norms.
- Abstract(参考訳): 凸クラスにおける経験的リスク最小化を用いて,exp-concave損失を伴う確率的凸最適化の問題を考える。
いくつかの先行研究で提起された質問に対して、$d$が凸参照集合の次元、$n$がサンプルサイズ、$\delta$が信頼レベルである有界なexp-concave損失の広いクラスに対して、$o(d / n + \log(1 / \delta) /n )$の過剰なリスク境界が有効である。
この結果は損失の勾配と局所ノルムの概念に関する統一幾何学的仮定に基づいている。
関連論文リスト
- Equivalence of the Empirical Risk Minimization to Regularization on the
Family of f-Divergences [49.853843995972085]
経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。
関数の特定の選択に対する解の例は、$f$である。
論文 参考訳(メタデータ) (2024-02-01T11:12:00Z) - Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-norm
Linear Regression [22.815395681447416]
実現可能な場合、即時仮定では、$O(d)$サンプルはターゲットを正確に回復するのに十分であることを示す。
この結果は、 (1, 2)$) の場合、最小化子におけるリスクのヘッセンの存在を保証する穏やかな仮定の下で、$p in (1, 2)$ に拡張する。
論文 参考訳(メタデータ) (2023-10-19T03:21:28Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online
Ensemble Approach [65.10444843694003]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $widehatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳(メタデータ) (2023-07-17T09:55:35Z) - Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum
Minimization [52.25843977506935]
有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。
そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
論文 参考訳(メタデータ) (2022-11-03T14:41:46Z) - Restricted Strong Convexity of Deep Learning Models with Smooth
Activations [31.003601717265006]
本研究では,スムーズなアクティベーション機能を持つディープラーニングモデルの最適化問題について検討する。
Restricted Strong Convexity (RSC) に基づく最適化の新しい解析手法を提案する。
深層学習モデルのためのRCCに基づくGDの幾何収束性を確立するための最初の結果である。
論文 参考訳(メタデータ) (2022-09-29T21:24:26Z) - Efficient Private SCO for Heavy-Tailed Data via Clipping [31.37972684061572]
差分プライベート(DP)の勾配を保証した重み付きデータの凸最適化について検討する。
一般的な凸問題では、過剰な集団リスクを$TildeOleft(fracd1/7sqrtlnfrac(n epsilon)2beta d(nepsilon)2/7right)$と$TildeOleft(fracd1/7lnfrac(nepsilon)2beta d(nepsilon)2
論文 参考訳(メタデータ) (2022-06-27T01:39:15Z) - A first-order primal-dual method with adaptivity to local smoothness [64.62056765216386]
凸凹対象 $min_x max_y f(x) + langle Ax, yrangle - g*(y)$, ここで、$f$ は局所リプシッツ勾配を持つ凸関数であり、$g$ は凸かつ非滑らかである。
主勾配ステップと2段ステップを交互に交互に行うCondat-Vuアルゴリズムの適応バージョンを提案する。
論文 参考訳(メタデータ) (2021-10-28T14:19:30Z) - Localization, Convexity, and Star Aggregation [0.0]
オフセットラデマッハ複体は、正方形損失に対する鋭く線形依存的な上界を示すことが示されている。
統計的設定では、オフセット境界は一定の均一な凸性を満たす任意の損失に一般化可能であることを示す。
論文 参考訳(メタデータ) (2021-05-19T00:47:59Z) - Non-Euclidean Differentially Private Stochastic Convex Optimization [15.302167005107135]
雑音勾配降下法(SGD)アルゴリズムは低次元状態において最適過大なリスクを達成できることを示す。
私たちの作品は、規則性、均一凸性、均一な平滑性の概念など、規範空間の幾何学から概念を導き出します。
論文 参考訳(メタデータ) (2021-03-01T19:48:44Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳(メタデータ) (2020-06-29T21:06:52Z) - On Suboptimality of Least Squares with Application to Estimation of
Convex Bodies [74.39616164169131]
雑音支援関数の測定から得られる凸を次元$dgeq 6$で推定する際、最小広場の最適性に関するオープンな問題を解決した。
Least Squaresは準最適であり、$tildeTheta_d(n-2/(d-1))$であるのに対して、minimaxレートは$Theta_d(n-4/(d+3)$である。
論文 参考訳(メタデータ) (2020-06-07T05:19:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。