論文の概要: Universal Approximation Properties for an ODENet and a ResNet:
Mathematical Analysis and Numerical Experiments
- arxiv url: http://arxiv.org/abs/2101.10229v3
- Date: Thu, 18 May 2023 01:22:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 21:20:15.707016
- Title: Universal Approximation Properties for an ODENet and a ResNet:
Mathematical Analysis and Numerical Experiments
- Title（参考訳）: ODENetとResNetの普遍近似特性:数学的解析と数値実験
- Authors: Yuto Aizawa, Masato Kimura, and Kazunori Matsui
- Abstract要約: ODENetのクラスとResNetのクラスに対する普遍近似特性(UAP)を証明する。
これを用いてODENetの学習アルゴリズムを構築する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove a universal approximation property (UAP) for a class of ODENet and a
class of ResNet, which are simplified mathematical models for deep learning
systems with skip connections. The UAP can be stated as follows. Let $n$ and
$m$ be the dimension of input and output data, and assume $m\leq n$. Then we
show that ODENet of width $n+m$ with any non-polynomial continuous activation
function can approximate any continuous function on a compact subset on
$\mathbb{R}^n$. We also show that ResNet has the same property as the depth
tends to infinity. Furthermore, we derive the gradient of a loss function
explicitly with respect to a certain tuning variable. We use this to construct
a learning algorithm for ODENet. To demonstrate the usefulness of this
algorithm, we apply it to a regression problem, a binary classification, and a
multinomial classification in MNIST.
- Abstract（参考訳）: スキップ接続を持つ深層学習システムのための簡易な数学的モデルであるODENetのクラスとResNetのクラスに対する普遍近似特性(UAP)を証明した。
UAPは次のように述べている。
n$ と $m$ を入力および出力データの次元とし、$m\leq n$ と仮定する。
すると、任意の非多項連続活性化関数を持つ幅$n+m$のオデネットは、$\mathbb{r}^n$ 上のコンパクト部分集合上の任意の連続関数を近似できることを示す。
また,resnet は深さが無限になるのと同じ性質を持つことを示した。
さらに、ある種のチューニング変数に関して損失関数の勾配を明示的に導出する。
これを用いてODENetの学習アルゴリズムを構築する。
このアルゴリズムの有用性を実証するために、回帰問題、二項分類、MNISTにおける多項分類に適用する。
関連論文リスト
- Universal approximation property of ODENet and ResNet with a single activation function [0.0]
本研究ではODENetとResNetの普遍近似特性について検討する。
制限ベクトル場を持つようなODENetとResNetは、一般ベクトル場を持つODENetを均一に近似できることを示す。
論文 参考訳（メタデータ） (2024-10-22T05:27:01Z) - Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。
また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文 参考訳（メタデータ） (2024-09-10T14:31:21Z) - A Minimal Control Family of Dynamical Syetem for Universal Approximation [6.164223149261533]
制御族は任意のコンパクト領域上で$mathbbRd$の微分同相を近似できるフロー写像を生成することができることを示す。
この結果から,ニューラルネットワークと制御系の近似パワーの基盤となる関係が明らかとなった。
論文 参考訳（メタデータ） (2023-12-20T10:36:55Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - A Unified Scheme of ResNet and Softmax [8.556540804058203]
回帰問題を理論的に解析する: $| langle exp(Ax) + A x, bf 1_n rangle-1 ( exp(Ax) + Ax )
この回帰問題は、ソフトマックス回帰とResNetを組み合わせた統一的なスキームである。
論文 参考訳（メタデータ） (2023-09-23T21:41:01Z) - Achieve the Minimum Width of Neural Networks for Universal Approximation [1.52292571922932]
ニューラルネットワークの普遍近似特性(UAP)について,最小幅の$w_min$について検討する。
特に、$Lp$-UAPの臨界幅$w*_min$は、漏洩ReLUネットワークによって達成できる。
論文 参考訳（メタデータ） (2022-09-23T04:03:50Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。
IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。
本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文 参考訳（メタデータ） (2020-07-12T20:43:56Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳（メタデータ） (2020-06-20T16:23:32Z) - Reinforcement Learning with General Value Function Approximation:
Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。
我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。
我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
論文 参考訳（メタデータ） (2020-05-21T17:36:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。