Fugu-MT 論文翻訳(概要): Exploring Local Norms in Exp-concave Statistical Learning

論文の概要: Exploring Local Norms in Exp-concave Statistical Learning

arxiv url: http://arxiv.org/abs/2302.10726v1
Date: Tue, 21 Feb 2023 15:22:52 GMT
ステータス: 処理完了
システム内更新日: 2023-02-22 14:45:39.097583
Title: Exploring Local Norms in Exp-concave Statistical Learning
Title（参考訳）: exp-concave統計学習における局所ノルムの検討
Authors: Nikita Puchkin, Nikita Zhivotovskiy
Abstract要約: 本稿では,経験的リスク最小化を用いた凸クラスにおけるexp-concave損失を考慮した凸最適化の問題点について考察する。 O( d / n + log( 1 / delta) / n )$over risk bound for a wide class of bounded exp-concave loss。
参考スコア（独自算出の注目度）: 4.721069729610892
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider the problem of stochastic convex optimization with exp-concave losses using Empirical Risk Minimization in a convex class. Answering a question raised in several prior works, we provide a $O( d / n + \log( 1 / \delta) / n )$ excess risk bound valid for a wide class of bounded exp-concave losses, where $d$ is the dimension of the convex reference set, $n$ is the sample size, and $\delta$ is the confidence level. Our result is based on a unified geometric assumption on the gradient of losses and the notion of local norms.
Abstract（参考訳）: 凸クラスにおける経験的リスク最小化を用いて,exp-concave損失を伴う確率的凸最適化の問題を考える。いくつかの先行研究で提起された質問に対して、$d$が凸参照集合の次元、$n$がサンプルサイズ、$\delta$が信頼レベルである有界なexp-concave損失の広いクラスに対して、$o(d / n + \log(1 / \delta) /n )$の過剰なリスク境界が有効である。この結果は損失の勾配と局所ノルムの概念に関する統一幾何学的仮定に基づいている。

関連論文リスト

Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文参考訳（メタデータ） (2024-11-12T11:30:53Z)
Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文参考訳（メタデータ） (2024-04-29T15:04:07Z)
Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文参考訳（メタデータ） (2023-07-17T09:55:35Z)
Restricted Strong Convexity of Deep Learning Models with Smooth Activations [31.003601717265006]
本研究では,スムーズなアクティベーション機能を持つディープラーニングモデルの最適化問題について検討する。 Restricted Strong Convexity (RSC) に基づく最適化の新しい解析手法を提案する。深層学習モデルのためのRCCに基づくGDの幾何収束性を確立するための最初の結果である。
論文参考訳（メタデータ） (2022-09-29T21:24:26Z)
A first-order primal-dual method with adaptivity to local smoothness [64.62056765216386]
凸凹対象 $min_x max_y f(x) + langle Ax, yrangle - g*(y)$, ここで、$f$ は局所リプシッツ勾配を持つ凸関数であり、$g$ は凸かつ非滑らかである。主勾配ステップと2段ステップを交互に交互に行うCondat-Vuアルゴリズムの適応バージョンを提案する。
論文参考訳（メタデータ） (2021-10-28T14:19:30Z)
Asymptotic normality of robust $M$-estimators with convex penalty [12.41853254173419]
本稿では,高次元の凸ペナルティを持つロバストなM-推定器の座標の正規性について述べる。ハマー損失について、推定された分散は、有効な自由度と効果的なサンプルサイズを含む単純な式を持つ。
論文参考訳（メタデータ） (2021-07-08T13:12:46Z)
Localization, Convexity, and Star Aggregation [0.0]
オフセットラデマッハ複体は、正方形損失に対する鋭く線形依存的な上界を示すことが示されている。統計的設定では、オフセット境界は一定の均一な凸性を満たす任意の損失に一般化可能であることを示す。
論文参考訳（メタデータ） (2021-05-19T00:47:59Z)
Non-Euclidean Differentially Private Stochastic Convex Optimization [15.302167005107135]
雑音勾配降下法(SGD)アルゴリズムは低次元状態において最適過大なリスクを達成できることを示す。私たちの作品は、規則性、均一凸性、均一な平滑性の概念など、規範空間の幾何学から概念を導き出します。
論文参考訳（メタデータ） (2021-03-01T19:48:44Z)
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文参考訳（メタデータ） (2020-06-29T21:06:52Z)
On Suboptimality of Least Squares with Application to Estimation of Convex Bodies [74.39616164169131]
雑音支援関数の測定から得られる凸を次元$dgeq 6$で推定する際、最小広場の最適性に関するオープンな問題を解決した。 Least Squaresは準最適であり、$tildeTheta_d(n-2/(d-1))$であるのに対して、minimaxレートは$Theta_d(n-4/(d+3)$である。
論文参考訳（メタデータ） (2020-06-07T05:19:00Z)
Error bounds in estimating the out-of-sample prediction error using leave-one-out cross validation in high-dimensions [19.439945058410203]
高次元状態におけるサンプル外リスク推定の問題について検討する。広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
論文参考訳（メタデータ） (2020-03-03T20:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。