論文の概要: Agnostic Learning of General ReLU Activation Using Gradient Descent
- arxiv url: http://arxiv.org/abs/2208.02711v2
- Date: Mon, 04 Nov 2024 02:43:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:41:56.397339
- Title: Agnostic Learning of General ReLU Activation Using Gradient Descent
- Title（参考訳）: Gradient Descent を用いた一般 ReLU 活性化の学習
- Authors: Pranjal Awasthi, Alex Tang, Aravindan Vijayaraghavan,
- Abstract要約: ReLU関数のバイアスがゼロでない場合、より困難なシナリオを考える。
適度なバイアスを持つ最良のReLU関数の最適誤差の定数係数内にある誤差を達成するReLU関数を見いだす。
- 参考スコア（独自算出の注目度）: 38.28136172081834
- License:
- Abstract: We provide a convergence analysis of gradient descent for the problem of agnostically learning a single ReLU function with moderate bias under Gaussian distributions. Unlike prior work that studies the setting of zero bias, we consider the more challenging scenario when the bias of the ReLU function is non-zero. Our main result establishes that starting from random initialization, in a polynomial number of iterations gradient descent outputs, with high probability, a ReLU function that achieves an error that is within a constant factor of the optimal error of the best ReLU function with moderate bias. We also provide finite sample guarantees, and these techniques generalize to a broader class of marginal distributions beyond Gaussians.
- Abstract（参考訳）: ガウス分布の下では、一方のReLU関数を適度なバイアスで学習する問題に対して勾配降下の収束解析を行う。
ゼロバイアスの設定を研究する以前の研究とは異なり、ReLU関数のバイアスがゼロでない場合、より困難なシナリオを考える。
我々の主な結果は、ランダム初期化から始めると、多項式数の反復勾配降下出力において、高い確率で、最良のReLU関数の最適誤差の定数係数内にある誤差を、適度なバイアスで達成するReLU関数が成立することを示す。
また、有限サンプル保証も提供し、これらのテクニックはガウス分布を超えて広い範囲の辺分布のクラスに一般化する。
関連論文リスト
- Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T10:19:27Z) - Non-asymptotic Analysis of Biased Adaptive Stochastic Approximation [0.8192907805418583]
偏りのある勾配は滑らかな非函数に対する臨界点に収束することを示す。
適切なチューニングを行うことで,バイアスの効果を低減できることを示す。
論文 参考訳（メタデータ） (2024-02-05T10:17:36Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳（メタデータ） (2022-05-26T20:56:25Z) - On the inability of Gaussian process regression to optimally learn
compositional functions [3.6525095710982916]
深いガウス過程の先行は、対象関数が構成構造を持つ場合、ガウス過程の先行よりも優れる。
真の函数が一般化加法関数であれば、任意の平均零ガウス過程に基づく後続函数は、ミニマックス速度よりも厳密に遅い速度でのみ真理を回復できることを示す。
論文 参考訳（メタデータ） (2022-05-16T15:42:25Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Information-Theoretic Generalization Bounds for Stochastic Gradient
Descent [13.757095663704858]
局所統計に依存する技術的誤りの限界を提供する。
主な要因は、勾配の客観的な分散、勾配の滑らかさ、摂動に対する損失関数の感度である。
我々の鍵となるツールは、以前SGDのランダム化された変種を解析するために使われた情報理論の一般化境界と、経路の摂動解析を組み合わせることである。
論文 参考訳（メタデータ） (2021-02-01T16:00:34Z) - On the Convergence of SGD with Biased Gradients [28.400751656818215]
偏り勾配法 (SGD) の導出領域を解析し, 個々の更新を圧縮によって劣化させる。
偏差精度と収束率の影響の程度を定量化する。
論文 参考訳（メタデータ） (2020-07-31T19:37:59Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳（メタデータ） (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。