論文の概要: On the Banach spaces associated with multi-layer ReLU networks: Function
representation, approximation theory and gradient descent dynamics
- arxiv url: http://arxiv.org/abs/2007.15623v1
- Date: Thu, 30 Jul 2020 17:47:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 13:49:29.712634
- Title: On the Banach spaces associated with multi-layer ReLU networks: Function
representation, approximation theory and gradient descent dynamics
- Title（参考訳）: 多層ReLUネットワークに関連するバナッハ空間について:関数表現、近似理論、勾配降下ダイナミクス
- Authors: Weinan E and Stephan Wojtowytsch
- Abstract要約: 有限深さ$L$および無限幅のReLUニューラルネットワークに対するバナッハ空間を開発する。
空間はすべての有限完全連結な$L$-層ネットワークと、それらの$L2$-極限オブジェクトを自然経路ノルムの下に含む。
このノルムの下では、$L$層ネットワークの空間内の単位球は、ラデマッハの複雑さが低く、したがって好ましい性質を持つ。
- 参考スコア（独自算出の注目度）: 8.160343645537106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop Banach spaces for ReLU neural networks of finite depth $L$ and
infinite width. The spaces contain all finite fully connected $L$-layer
networks and their $L^2$-limiting objects under bounds on the natural
path-norm. Under this norm, the unit ball in the space for $L$-layer networks
has low Rademacher complexity and thus favorable generalization properties.
Functions in these spaces can be approximated by multi-layer neural networks
with dimension-independent convergence rates.
The key to this work is a new way of representing functions in some form of
expectations, motivated by multi-layer neural networks. This representation
allows us to define a new class of continuous models for machine learning. We
show that the gradient flow defined this way is the natural continuous analog
of the gradient descent dynamics for the associated multi-layer neural
networks. We show that the path-norm increases at most polynomially under this
continuous gradient flow dynamics.
- Abstract（参考訳）: 有限深さ$L$および無限幅のReLUニューラルネットワークに対するバナッハ空間を開発する。
空間はすべての有限連結$L$-層ネットワークと、それらの$L^2$-制限対象を自然経路ノルム上の有界下に含まれる。
このノルムの下では、$L$層ネットワークの空間内の単位球はラデマッハの複雑さが低く、したがってより好ましい一般化特性を持つ。
これらの空間の関数は次元独立な収束率を持つ多層ニューラルネットワークによって近似することができる。
この研究の鍵は、多層ニューラルネットワークによって動機付けられたある種の期待で関数を表現する新しい方法である。
この表現により、機械学習のための新しいクラスの連続モデルを定義することができる。
この方法で定義された勾配流は、関連する多層ニューラルネットワークの勾配勾配勾配ダイナミクスの自然な連続アナログであることを示す。
この連続勾配流力学の下では,経路ノルムは多項式的に増加する。
関連論文リスト
- Piecewise Linear Functions Representable with Infinite Width Shallow
ReLU Neural Networks [0.0]
我々は,このような無限幅のニューラルネットワークで表現可能なすべての連続的片方向線形関数が,有限幅の浅いReLUニューラルネットワークとして表現可能であることを,オンジーらの予想を証明した。
論文 参考訳（メタデータ） (2023-07-25T15:38:18Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳（メタデータ） (2022-12-23T04:48:04Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳（メタデータ） (2022-10-28T17:26:27Z) - Neural Network Approximation of Continuous Functions in High Dimensions
with Applications to Inverse Problems [6.84380898679299]
現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。
ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
論文 参考訳（メタデータ） (2022-08-28T22:44:07Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - A global convergence theory for deep ReLU implicit networks via
over-parameterization [26.19122384935622]
暗黙の深層学習は近年注目を集めている。
本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
論文 参考訳（メタデータ） (2021-10-11T23:22:50Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳（メタデータ） (2021-02-20T10:14:37Z) - Theory of Deep Convolutional Neural Networks II: Spherical Analysis [9.099589602551573]
単位球面$mathbbSd-1$ of $mathbbRd$ 上の近似関数に適用された深部畳み込みニューラルネットワークの族を考える。
我々の解析は、近似関数がソボレフ空間 $Wr_infty (mathbbSd-1)$ に$r>0$ あるいは加法リッジ形式を取るとき、一様近似の速度を示す。
論文 参考訳（メタデータ） (2020-07-28T14:54:30Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。