論文の概要: Efficient uniform approximation using Random Vector Functional Link networks

• arxiv url: http://arxiv.org/abs/2306.17501v1
• Date: Fri, 30 Jun 2023 09:25:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 12:52:21.313462
• Title: Efficient uniform approximation using Random Vector Functional Link networks
• Title（参考訳）: ランダムベクトル関数型リンクネットワークを用いた効率的一様近似
• Authors: Palina Salanevich and Olov Schavemaker
• Abstract要約: ランダムベクトル関数リンク(英: Random Vector Functional Link, RVFL)は、ランダムな内部ノードとバイアスを持つディープ2ニューラルネットワークである。 本稿では、ReLUアクティベートされたRVFLがLipschitzターゲット関数を近似できることを示す。 我々の証明法は理論と調和解析に根ざしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A Random Vector Functional Link (RVFL) network is a depth-2 neural network with random inner weights and biases. As only the outer weights of such architectures need to be learned, the learning process boils down to a linear optimization task, allowing one to sidestep the pitfalls of nonconvex optimization problems. In this paper, we prove that an RVFL with ReLU activation functions can approximate Lipschitz continuous functions provided its hidden layer is exponentially wide in the input dimension. Although it has been established before that such approximation can be achieved in $L_2$ sense, we prove it for $L_\infty$ approximation error and Gaussian inner weights. To the best of our knowledge, our result is the first of this kind. We give a nonasymptotic lower bound for the number of hidden layer nodes, depending on, among other things, the Lipschitz constant of the target function, the desired accuracy, and the input dimension. Our method of proof is rooted in probability theory and harmonic analysis.
• Abstract（参考訳）: ランダムベクトル汎関数リンク(rvfl)ネットワークは、ランダムな内部重みとバイアスを持つ深さ2ニューラルネットワークである。 このようなアーキテクチャの外部重みのみを学習する必要があるため、学習プロセスは線形最適化タスクに集約され、非凸最適化問題の落とし穴を回避できる。 本稿では,reluアクティベーション関数を持つrvflが入力次元において隠れた層が指数関数的に広い場合,リプシッツ連続関数を近似できることを示す。 このような近似は l_2$ sense で達成される前に確立されているが、l_\infty$ 近似誤差とガウス内重みについて証明する。 私たちの知る限りでは、私たちの結果はこの種の最初のものです。 我々は,対象関数のリプシッツ定数,所望の精度,入力次元などに依存する隠蔽層ノード数に対する漸近的下界を与える。 我々の証明法は確率論と調和解析に根ざしている。

関連論文リスト

• Enhanced Feature Learning via Regularisation: Integrating Neural Networks and Kernel Methods [0.0]
  我々はBrownian Kernel Neural Network (BKerNN) と呼ばれる推定器の効率的な手法を提案する。 BKerNNの予測リスクは、O(min((d/n)1/2, n-1/6)$(対数因子まで)の明示的な高い確率で最小限のリスクに収束することを示す。
  論文  参考訳（メタデータ） (2024-07-24T13:46:50Z)
• Multi-layer random features and the approximation power of neural networks [4.178980693837599]
  再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。 NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
  論文  参考訳（メタデータ） (2024-04-26T14:57:56Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Robustly Learning Single-Index Models via Alignment Sharpness [40.886706402941435]
  単行数モデル学習の問題点を,無知モデルにおける損失$L2$で検討する。 最適損失に対する定数係数近似を達成し,効率的な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-27T18:48:07Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• A Law of Robustness beyond Isoperimetry [84.33752026418045]
  我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。 次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。 我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
  論文  参考訳（メタデータ） (2022-02-23T16:10:23Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Nearly Optimal Regret for Learning Adversarial MDPs with Linear Function Approximation [92.3161051419884]
  我々は、敵対的な報酬と完全な情報フィードバックで有限正方体エピソディックマルコフ決定プロセスのための強化学習を研究します。 我々は、$tildeO(dHsqrtT)$ regretを達成できることを示し、$H$はエピソードの長さである。 また、対数因子までの$tildeOmega(dHsqrtT)$の値が一致することを証明する。
  論文  参考訳（メタデータ） (2021-02-17T18:54:08Z)
• Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
  ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。 さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
  論文  参考訳（メタデータ） (2020-07-30T23:50:44Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。