論文の概要: Uniform Convergence with Square-Root Lipschitz Loss
- arxiv url: http://arxiv.org/abs/2306.13188v1
- Date: Thu, 22 Jun 2023 20:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 14:15:41.436265
- Title: Uniform Convergence with Square-Root Lipschitz Loss
- Title（参考訳）: 正方根リプシッツ損失を伴う一様収束
- Authors: Lijia Zhou, Zhen Dai, Frederic Koehler, Nathan Srebro
- Abstract要約: これらの保証は、スムーズネス(微分のリプシッツ定数)に基づいて、先行結果をいかに大きく一般化するかを示す。
我々は「最適化率」と「学習保証」をよりよく理解する。
- 参考スコア（独自算出の注目度）: 35.52581372892922
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We establish generic uniform convergence guarantees for Gaussian data in
terms of the Rademacher complexity of the hypothesis class and the Lipschitz
constant of the square root of the scalar loss function. We show how these
guarantees substantially generalize previous results based on smoothness
(Lipschitz constant of the derivative), and allow us to handle the broader
class of square-root-Lipschitz losses, which includes also non-smooth loss
functions appropriate for studying phase retrieval and ReLU regression, as well
as rederive and better understand "optimistic rate" and interpolation learning
guarantees.
- Abstract（参考訳）: 我々は、仮説クラスのラデマッハ複雑性とスカラー損失関数の平方根のリプシッツ定数の観点から、ガウスデータに対する一般一様収束保証を確立する。
これらの保証がスムーズ性(微分のLipschitz定数)に基づいて過去の結果を大幅に一般化し、位相探索やReLU回帰の学習に適した非滑らかな損失関数を含む平方根-Lipschitz損失のより広いクラスを扱えるかを示し、また「最適率」や補間学習の保証をよりよく理解する。
関連論文リスト
- Stochastic Weakly Convex Optimization Beyond Lipschitz Continuity [5.866816093792934]
次数法を含む幅広い連続性アルゴリズムが, 一定の故障率で$mathO収束率を保っていることを示す。
リプシッツパラメータは、$|x|$の一般的な成長関数によって境界付けられたり、独立したランダムサンプルを通して局所的に推定されたりする。
論文 参考訳（メタデータ） (2024-01-25T06:06:31Z) - Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from
KKT Conditions for Margin Maximization [59.038366742773164]
ロジスティック損失の勾配流によって訓練された線形および漏洩ReLUは、KKT条件を満たすための暗黙の偏りを持つ。
本研究では、線形分類器や2層リークReLUネットワークにおいて、これらの条件の満足度が良性オーバーフィットを意味するような設定を多数確立する。
論文 参考訳（メタデータ） (2023-03-02T18:24:26Z) - Statistical Optimality of Divide and Conquer Kernel-based Functional
Linear Regression [1.7227952883644062]
本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。
分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
論文 参考訳（メタデータ） (2022-11-20T12:29:06Z) - Optimistic Rates: A Unifying Theory for Interpolation Learning and
Regularization in Linear Regression [35.78863301525758]
我々は「最適化率」として知られる一様収束の局所的概念を研究する。
改良された解析は既存の結果の隠れ定数と対数係数を回避している。
論文 参考訳（メタデータ） (2021-12-08T18:55:00Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:48:46Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - Relative Lipschitzness in Extragradient Methods and a Direct Recipe for
Acceleration [30.369542816161378]
我々は,滑らかな凸関数の1次最小化のために,標準的な指数関数法(ミラープロキシと双対外挿法)が最適加速率を回復することを示した。
我々はこの枠組みを一般化し、相対的なリプシッツネスの局所的およびランダムな概念を扱う。
論文 参考訳（メタデータ） (2020-11-12T18:43:40Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z) - Exactly Computing the Local Lipschitz Constant of ReLU Networks [98.43114280459271]
ニューラルネットワークの局所リプシッツ定数は、堅牢性、一般化、公正性評価に有用な指標である。
ReLUネットワークのリプシッツ定数を推定するために, 強い不適合性を示す。
このアルゴリズムを用いて、競合するリプシッツ推定器の密度と正規化トレーニングがリプシッツ定数に与える影響を評価する。
論文 参考訳（メタデータ） (2020-03-02T22:15:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。