Fugu-MT 論文翻訳(概要): On the Approximation Power of Two-Layer Networks of Random ReLUs

論文の概要: On the Approximation Power of Two-Layer Networks of Random ReLUs

arxiv url: http://arxiv.org/abs/2102.02336v1
Date: Wed, 3 Feb 2021 23:41:34 GMT
ステータス: 処理完了
システム内更新日: 2021-02-05 16:37:06.224863
Title: On the Approximation Power of Two-Layer Networks of Random ReLUs
Title（参考訳）: ランダムReLUの2層ネットワークの近似力について
Authors: Daniel Hsu, Clayton Sanford, Rocco A. Servedio, Emmanouil-Vasileios Vlatakis-Gkaragkounis
Abstract要約: ランダムな底面重みを持つ2つのReLUネットワークがいかに滑らかな関数を表現できるかを考える。我々は、リプシッツ定数、所望の精度、および問題の次元の観点から、$L$近似について、近似上値と下値の近似を与える。
参考スコア（独自算出の注目度）: 11.882993480979115
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper considers the following question: how well can depth-two ReLU networks with randomly initialized bottom-level weights represent smooth functions? We give near-matching upper- and lower-bounds for $L_2$-approximation in terms of the Lipschitz constant, the desired accuracy, and the dimension of the problem, as well as similar results in terms of Sobolev norms. Our positive results employ tools from harmonic analysis and ridgelet representation theory, while our lower-bounds are based on (robust versions of) dimensionality arguments.
Abstract（参考訳）: 本稿では,ランダム初期化ボトムレベル重み付き深度2ReLUネットワークがスムーズな関数をどれだけうまく表現できるかを考察する。リプシッツ定数、所望の精度、および問題の次元の点での$L_2$-近似に対して、近似上および下限の近似を与えるとともに、ソボレフノルムの観点からも同様の結果を与える。我々の肯定的な結果は調和解析とリッジレット表現理論のツールを使用し、下限は(ロバストなバージョンの)次元論に基づく。

関連論文リスト

A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文参考訳（メタデータ） (2024-04-18T16:46:08Z)
The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文参考訳（メタデータ） (2023-06-30T09:17:39Z)
Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks [3.222802562733787]
本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
論文参考訳（メタデータ） (2023-01-30T17:29:19Z)
On the Global Convergence of Fitted Q-Iteration with Two-layer Neural Network Parametrization [33.12181620473604]
本稿では,2層型ReLUニューラルネットワークを用いたQ-Iterationについて検討し,アルゴリズムの複雑さの保証を求める。このアプローチは,オーダー最適化である $tildemathcalO (1/epsilon2)$ のサンプル複雑性を実現する。
論文参考訳（メタデータ） (2022-11-14T19:00:24Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文参考訳（メタデータ） (2022-03-30T11:39:00Z)
Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
一次元回帰問題に対する連続領域定式化を提案する。リプシッツ定数をユーザ定義上界を用いて明示的に制御する。いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
論文参考訳（メタデータ） (2021-12-27T07:03:43Z)
Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。彼らは不利な姿勢と収束の不安定さに悩まされる。本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文参考訳（メタデータ） (2021-06-06T18:05:02Z)
Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。