論文の概要: Agnostic Learning of General ReLU Activation Using Gradient Descent
- arxiv url: http://arxiv.org/abs/2208.02711v1
- Date: Thu, 4 Aug 2022 15:14:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-05 12:29:49.682070
- Title: Agnostic Learning of General ReLU Activation Using Gradient Descent
- Title(参考訳): Gradient Descent を用いた一般 ReLU 活性化の学習
- Authors: Pranjal Awasthi, Alex Tang, Aravindan Vijayaraghavan
- Abstract要約: 本稿では、ガウス分布の下で1つのReLU関数を不可知的に学習する問題に対する勾配降下の収束解析について述べる。
我々の主な結果は、ランダムな反復から始まり、多くの勾配降下出力において、高い確率で、ReLU関数が競合エラーを保証することを証明している。
- 参考スコア(独自算出の注目度): 24.73731167081234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We provide a convergence analysis of gradient descent for the problem of
agnostically learning a single ReLU function under Gaussian distributions.
Unlike prior work that studies the setting of zero bias, we consider the more
challenging scenario when the bias of the ReLU function is non-zero. Our main
result establishes that starting from random initialization, in a polynomial
number of iterations gradient descent outputs, with high probability, a ReLU
function that achieves a competitive error guarantee when compared to the error
of the best ReLU function. We also provide finite sample guarantees, and these
techniques generalize to a broader class of marginal distributions beyond
Gaussians.
- Abstract(参考訳): ガウス分布の下で単一のrelu関数を無知に学習する問題に対する勾配降下の収束解析を提供する。
ゼロバイアスの設定を研究する以前の研究とは異なり、ReLU関数のバイアスがゼロでない場合、より困難なシナリオを考える。
その結果, 多項式数において, ランダム初期化から開始した勾配降下出力は, 最良の relu 関数の誤差と比較して, 高い確率で競合誤差保証を実現する relu 関数となることがわかった。
また、有限サンプル保証も提供し、これらのテクニックはガウス分布を超えて広い範囲の辺分布のクラスに一般化する。
関連論文リスト
- Taming Nonconvex Stochastic Mirror Descent with General Bregman
Divergence [25.717501580080846]
本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。
トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
論文 参考訳(メタデータ) (2024-02-27T17:56:49Z) - Convex Relaxations of ReLU Neural Networks Approximate Global Optima in
Polynomial Time [54.01594785269913]
本稿では, 重み劣化と凸緩和に則った2層ReLUネットワーク間の最適性ギャップについて述べる。
トレーニングデータがランダムである場合、元の問題と緩和の間の相対的な最適性ギャップは、サンプルの勾配によって境界付けられることを示す。
論文 参考訳(メタデータ) (2024-02-06T01:29:35Z) - Uniform Convergence with Square-Root Lipschitz Loss [35.52581372892922]
これらの保証は、スムーズネス(微分のリプシッツ定数)に基づいて、先行結果をいかに大きく一般化するかを示す。
我々は「最適化率」と「学習保証」をよりよく理解する。
論文 参考訳(メタデータ) (2023-06-22T20:14:08Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳(メタデータ) (2022-05-26T20:56:25Z) - On the inability of Gaussian process regression to optimally learn
compositional functions [3.6525095710982916]
深いガウス過程の先行は、対象関数が構成構造を持つ場合、ガウス過程の先行よりも優れる。
真の函数が一般化加法関数であれば、任意の平均零ガウス過程に基づく後続函数は、ミニマックス速度よりも厳密に遅い速度でのみ真理を回復できることを示す。
論文 参考訳(メタデータ) (2022-05-16T15:42:25Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳(メタデータ) (2022-02-14T16:42:16Z) - On the existence of global minima and convergence analyses for gradient
descent methods in the training of deep neural networks [3.198144010381572]
フィードフォワード深層ReLU ANNを任意に多数の隠蔽層で研究する。
我々は,そのようなANNの訓練において,ランダムなGD最適化手法のリスクを収束させることを証明した。
また、勾配流微分方程式の解も研究する。
論文 参考訳(メタデータ) (2021-12-17T18:55:40Z) - A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。
PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文 参考訳(メタデータ) (2021-07-23T19:38:17Z) - Agnostic Proper Learning of Halfspaces under Gaussian Marginals [56.01192577666607]
ガウスの下の半空間を不可知的に学習する問題を考察する。
我々の主な成果は、この問題に対するエム第一固有学習アルゴリズムである。
論文 参考訳(メタデータ) (2021-02-10T18:40:44Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳(メタデータ) (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。