論文の概要: Efficient uniform approximation using Random Vector Functional Link networks
- arxiv url: http://arxiv.org/abs/2306.17501v2
- Date: Wed, 25 Jun 2025 09:55:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-26 21:00:42.382985
- Title: Efficient uniform approximation using Random Vector Functional Link networks
- Title（参考訳）: ランダムベクトル関数リンクネットワークを用いた効率的な一様近似
- Authors: Palina Salanevich, Olov Schavemaker,
- Abstract要約: ランダムベクトル関数リンク(英: Random Vector Functional Link, RVFL)は、ランダムな内部バイアスを持つニューラルネットワークである。
本稿では,重みを隠蔽したRVFLが$L_inで機能することを示す。
我々は、与えられた精度を高い確率で達成するために、nonasymptlayerノードを与える。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A Random Vector Functional Link (RVFL) network is a depth-2 neural network with random inner weights and biases. Only the outer weights of such an architecture are to be learned, so the learning process boils down to a linear optimization task, allowing one to sidestep the pitfalls of nonconvex optimization problems. In this paper, we prove that an RVFL with ReLU activation functions can approximate Lipschitz continuous functions in $L_\infty$ norm. To the best of our knowledge, our result is the first approximation result in $L_\infty$ norm using nice inner weights; namely, Gaussians. We give a nonasymptotic lower bound for the number of hidden-layer nodes to achieve a given accuracy with high probability, depending on, among other things, the Lipschitz constant of the target function, the desired accuracy, and the input dimension. Our method of proof is rooted in probability theory and harmonic analysis.
- Abstract（参考訳）: ランダムベクトル関数リンク(英: Random Vector Functional Link, RVFL)は、ランダムな内重みとバイアスを持つディープ2ニューラルネットワークである。
このようなアーキテクチャの外部重みのみを学習する必要があるため、学習プロセスは線形最適化タスクに集約され、非凸最適化問題の落とし穴を回避できる。
本稿では、ReLU活性化関数を持つRVFLが、$L_\infty$ノルムでリプシッツ連続関数を近似できることを示す。
我々の知る限りでは、我々の結果は、良い内部重み(つまりガウス)を使った$L_\infty$ノルムの最初の近似結果である。
我々は、対象関数のリプシッツ定数、所望の精度、入力次元など、高い確率で与えられた精度を達成するために、隠蔽層ノードの数に対して漸近的下界を与える。
我々の証明法は確率論と調和解析に根ざしている。
関連論文リスト
- Nonlocal techniques for the analysis of deep ReLU neural network approximations [0.0]
最近、Daubechies, DeVore, Foucart, Hanin, Petrova は、ピースワイド線型関数の体系を導入した。
このシステムは、ソボレフ空間やバロン類に対してもリース基底として機能することを示す。
論文 参考訳（メタデータ） (2025-04-07T09:00:22Z) - Curse of Dimensionality in Neural Network Optimization [6.460951804337735]
平均場状態下でのニューラルネットワーク最適化における次元性の呪いについて検討した。
局所リプシッツ連続活性化関数が用いられるとき、次元性の呪いは持続する。
論文 参考訳（メタデータ） (2025-02-07T22:21:31Z) - Enhanced Feature Learning via Regularisation: Integrating Neural Networks and Kernel Methods [0.0]
我々はBrownian Kernel Neural Network (BKerNN) と呼ばれる推定器の効率的な手法を提案する。
BKerNNの予測リスクは、O(min((d/n)1/2, n-1/6)$(対数因子まで)の明示的な高い確率で最小限のリスクに収束することを示す。
論文 参考訳（メタデータ） (2024-07-24T13:46:50Z) - Multi-layer random features and the approximation power of neural networks [4.178980693837599]
再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。
NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
論文 参考訳（メタデータ） (2024-04-26T14:57:56Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Robustly Learning Single-Index Models via Alignment Sharpness [40.886706402941435]
単行数モデル学習の問題点を,無知モデルにおける損失$L2$で検討する。
最適損失に対する定数係数近似を達成し,効率的な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-27T18:48:07Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳（メタデータ） (2021-07-14T03:03:56Z) - Nearly Optimal Regret for Learning Adversarial MDPs with Linear Function
Approximation [92.3161051419884]
我々は、敵対的な報酬と完全な情報フィードバックで有限正方体エピソディックマルコフ決定プロセスのための強化学習を研究します。
我々は、$tildeO(dHsqrtT)$ regretを達成できることを示し、$H$はエピソードの長さである。
また、対数因子までの$tildeOmega(dHsqrtT)$の値が一致することを証明する。
論文 参考訳（メタデータ） (2021-02-17T18:54:08Z) - Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。
さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
論文 参考訳（メタデータ） (2020-07-30T23:50:44Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳（メタデータ） (2020-02-10T23:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。