論文の概要: Approximation of Nonlinear Functionals Using Deep ReLU Networks

• arxiv url: http://arxiv.org/abs/2304.04443v1
• Date: Mon, 10 Apr 2023 08:10:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 15:36:25.815270
• Title: Approximation of Nonlinear Functionals Using Deep ReLU Networks
• Title（参考訳）: 深部ReLUネットワークを用いた非線形関数の近似
• Authors: Linhao Song, Jun Fan, Di-Rong Chen and Ding-Xuan Zhou
• Abstract要約: 本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。 さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
• 参考スコア（独自算出の注目度）: 7.876115370275732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, functional neural networks have been proposed and studied in order to approximate nonlinear continuous functionals defined on $L^p([-1, 1]^s)$ for integers $s\ge1$ and $1\le p<\infty$. However, their theoretical properties are largely unknown beyond universality of approximation or the existing analysis does not apply to the rectified linear unit (ReLU) activation function. To fill in this void, we investigate here the approximation power of functional deep neural networks associated with the ReLU activation function by constructing a continuous piecewise linear interpolation under a simple triangulation. In addition, we establish rates of approximation of the proposed functional deep ReLU networks under mild regularity conditions. Finally, our study may also shed some light on the understanding of functional data learning algorithms.
• Abstract（参考訳）: 近年、関数型ニューラルネットワークが提案され、整数の$l^p([-1, 1]^s)$と$s\ge1$と$1\le p<\infty$で定義される非線形連続関数を近似するために研究されている。 しかし、それらの理論的性質は近似の普遍性を超えてほとんど知られていないし、既存の解析は正則線型単位(ReLU)活性化関数には適用されない。 そこで本研究では,ReLU活性化関数に付随する機能深部ニューラルネットワークの近似能力について,単純な三角法の下で連続的な一方向線形補間を構築することにより検討する。 さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。 最後に、我々の研究は、関数型データ学習アルゴリズムの理解にも光を当てるかもしれない。

関連論文リスト

• ReLU neural network approximation to piecewise constant functions [3.5928501649873326]
  3層ReLU NNは任意の定数関数を正確に近似するのに十分であることを示す。 不連続界面が凸であれば、正確な重みと偏りを持つReLU NN近似の分析式が提供される。
  論文  参考訳（メタデータ） (2024-10-21T20:58:34Z)
• Spherical Analysis of Learning Nonlinear Functionals [10.785977740158193]
  本稿では,球面上の関数の集合上で定義される関数について考察する。 深部ReLUニューラルネットワークの近似能力をエンコーダデコーダフレームワークを用いて検討した。
  論文  参考訳（メタデータ） (2024-10-01T20:10:00Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Approximation of RKHS Functionals by Neural Networks [30.42446856477086]
  ニューラルネットワークを用いたHilbert空間(RKHS)を再現するカーネル上の関数の近似について検討する。 逆多重四元数、ガウス、ソボレフのカーネルによって誘導される場合の明示的な誤差境界を導出する。 ニューラルネットワークが回帰マップを正確に近似できることを示すため,機能回帰に本研究の成果を適用した。
  論文  参考訳（メタデータ） (2024-03-18T18:58:23Z)
• Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning [53.97335841137496]
  非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。 本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
  論文  参考訳（メタデータ） (2023-10-02T17:42:01Z)
• Approximation and interpolation of deep neural networks [0.0]
  過度にパラメータ化された状態において、ディープニューラルネットワークは普遍的な近似を提供し、任意のデータセットを補間することができる。 最後の節では、活性化関数の一般的な条件下でそのような点を見つけるための実用的な確率的方法を提案する。
  論文  参考訳（メタデータ） (2023-04-20T08:45:16Z)
• Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks [3.222802562733787]
  本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。 いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T17:29:19Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。