論文の概要: Approximation of Nonlinear Functionals Using Deep ReLU Networks
- arxiv url: http://arxiv.org/abs/2304.04443v1
- Date: Mon, 10 Apr 2023 08:10:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 15:36:25.815270
- Title: Approximation of Nonlinear Functionals Using Deep ReLU Networks
- Title(参考訳): 深部ReLUネットワークを用いた非線形関数の近似
- Authors: Linhao Song, Jun Fan, Di-Rong Chen and Ding-Xuan Zhou
- Abstract要約: 本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。
さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
- 参考スコア(独自算出の注目度): 7.876115370275732
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, functional neural networks have been proposed and studied in
order to approximate nonlinear continuous functionals defined on $L^p([-1,
1]^s)$ for integers $s\ge1$ and $1\le p<\infty$. However, their theoretical
properties are largely unknown beyond universality of approximation or the
existing analysis does not apply to the rectified linear unit (ReLU) activation
function. To fill in this void, we investigate here the approximation power of
functional deep neural networks associated with the ReLU activation function by
constructing a continuous piecewise linear interpolation under a simple
triangulation. In addition, we establish rates of approximation of the proposed
functional deep ReLU networks under mild regularity conditions. Finally, our
study may also shed some light on the understanding of functional data learning
algorithms.
- Abstract(参考訳): 近年、関数型ニューラルネットワークが提案され、整数の$l^p([-1, 1]^s)$と$s\ge1$と$1\le p<\infty$で定義される非線形連続関数を近似するために研究されている。
しかし、それらの理論的性質は近似の普遍性を超えてほとんど知られていないし、既存の解析は正則線型単位(ReLU)活性化関数には適用されない。
そこで本研究では,ReLU活性化関数に付随する機能深部ニューラルネットワークの近似能力について,単純な三角法の下で連続的な一方向線形補間を構築することにより検討する。
さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
最後に、我々の研究は、関数型データ学習アルゴリズムの理解にも光を当てるかもしれない。
関連論文リスト
- Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳(メタデータ) (2024-01-05T16:43:39Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Pessimistic Nonlinear Least-Squares Value Iteration for Offline
Reinforcement Learning [58.962016644796]
非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。
本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
論文 参考訳(メタデータ) (2023-10-02T17:42:01Z) - Optimal approximation using complex-valued neural networks [0.0]
複雑評価ニューラルネットワーク(CVNN)は最近、有望な経験的成功を示している。
CVNNの表現性を近似特性を用いて解析する。
論文 参考訳(メタデータ) (2023-03-29T15:56:43Z) - Function Approximation with Randomly Initialized Neural Networks for
Approximate Model Reference Adaptive Control [0.0]
近年の研究では、ReLUのような特殊活性化関数に対して、ランダムなアクティベーションの線形結合によって高い精度が得られることが示されている。
本稿では, 直接積分表現が知られていないアクティベーションを用いて, 対象関数の積分表現を形成する手段を提供する。
論文 参考訳(メタデータ) (2023-03-28T18:55:48Z) - Optimal Approximation Complexity of High-Dimensional Functions with
Neural Networks [3.222802562733787]
本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。
いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
論文 参考訳(メタデータ) (2023-01-30T17:29:19Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳(メタデータ) (2022-03-22T13:09:17Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳(メタデータ) (2021-07-14T03:03:56Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳(メタデータ) (2021-04-05T18:02:04Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。