論文の概要: Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons
- arxiv url: http://arxiv.org/abs/2405.13738v2
- Date: Mon, 16 Sep 2024 22:14:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 22:10:43.441941
- Title: Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons
- Title（参考訳）: 非ポリノミカル活性化による深部神経回路の補間 : 必要な数と十分な数のニューロン
- Authors: Liam Madden,
- Abstract要約: 我々は、活性化関数が点ではなく点において実数である限り、$Theta(sqrtnd')$ニューロンは十分であることを示す。
これは、パワーを失うことなく、アクティベーション関数を問題依存的に自由に選択できることを意味する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The minimal number of neurons required for a feedforward neural network to interpolate $n$ generic input-output pairs from $\mathbb{R}^d\times \mathbb{R}^{d'}$ is $\Theta(\sqrt{nd'})$. While previous results have shown that $\Theta(\sqrt{nd'})$ neurons are sufficient, they have been limited to sigmoid, Heaviside, and rectified linear unit (ReLU) as the activation function. Using a different approach, we prove that $\Theta(\sqrt{nd'})$ neurons are sufficient as long as the activation function is real analytic at a point and not a polynomial there. Thus, the only practical activation functions that our result does not apply to are piecewise polynomials. Importantly, this means that activation functions can be freely chosen in a problem-dependent manner without loss of interpolation power.
- Abstract（参考訳）: フィードフォワードニューラルネットワークに必要なニューロンの最小数$n$を$\mathbb{R}^d\times \mathbb{R}^{d'}$を$\Theta(\sqrt{nd'})$と解釈する。
以前の結果は、$\Theta(\sqrt{nd'})$ニューロンが十分であることを示しているが、活性化関数としてシグミド、ヘビシド、修正線形単位(ReLU)に制限されている。
異なるアプローチを用いて、活性化関数がある点において実解析的であり、その点において多項式ではない限り、$\Theta(\sqrt{nd'})$ニューロンは十分であることを示す。
したがって、我々の結果が適用できない唯一の実用的なアクティベーション関数は、断片多項式である。
これは、補間力を失うことなく、アクティベーション関数を問題依存的に自由に選択できることを意味している。
関連論文リスト
- Linear Independence of Generalized Neurons and Related Functions [0.0]
ニューロンの線形独立性は、ニューラルネットワークの理論解析において重要な役割を果たす。
任意の層と幅を持つニューロンの問題を考察し、汎用的な解析的活性化関数の単純かつ完全な特徴付けを与える。
論文 参考訳（メタデータ） (2024-09-22T21:09:15Z) - Optimal Neural Network Approximation for High-Dimensional Continuous Functions [5.748690310135373]
我々は、その近似において任意の精度を達成するために、少なくとも幅$d$、従って少なくとも$d$固有のニューロンを必要とする連続関数の族を示す。
これは、$mathcalO(d)$内在ニューロンの要求が、入力次元$d$と線形に成長するという意味で最適であることを示している。
論文 参考訳（メタデータ） (2024-09-04T01:18:55Z) - Optimal approximation using complex-valued neural networks [0.0]
複雑評価ニューラルネットワーク(CVNN)は最近、有望な経験的成功を示している。
CVNNの表現性を近似特性を用いて解析する。
論文 参考訳（メタデータ） (2023-03-29T15:56:43Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳（メタデータ） (2022-08-17T08:14:52Z) - Learning a Single Neuron for Non-monotonic Activation Functions [3.890410443467757]
非単調活性化関数は、多くの応用において伝統的な単調関数よりも優れる。
サンプル時間における学習性を保証するのに$sigma$の穏やかな条件が十分であることを示す。
また,2層ニューラルネットワークのトレーニングにおいて,既存の負の結果に肯定的な結果がどう関係しているかについても論じる。
論文 参考訳（メタデータ） (2022-02-16T13:44:25Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。
IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。
本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文 参考訳（メタデータ） (2020-07-12T20:43:56Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳（メタデータ） (2020-06-20T16:23:32Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。