論文の概要: A Minimal Control Family of Dynamical Syetem for Universal Approximation
- arxiv url: http://arxiv.org/abs/2312.12903v1
- Date: Wed, 20 Dec 2023 10:36:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 16:04:29.916104
- Title: A Minimal Control Family of Dynamical Syetem for Universal Approximation
- Title（参考訳）: ユニバーサル近似のための動的感覚の最小制御系
- Authors: Yifei Duan, Yongqiang Cai
- Abstract要約: 制御族は任意のコンパクト領域上で$mathbbRd$の微分同相を近似できるフロー写像を生成することができることを示す。
この結果から,ニューラルネットワークと制御系の近似パワーの基盤となる関係が明らかとなった。
- 参考スコア（独自算出の注目度）: 6.164223149261533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The universal approximation property (UAP) of neural networks is a
fundamental characteristic of deep learning. It is widely recognized that a
composition of linear functions and non-linear functions, such as the rectified
linear unit (ReLU) activation function, can approximate continuous functions on
compact domains. In this paper, we extend this efficacy to the scenario of
dynamical systems with controls. We prove that the control family
$\mathcal{F}_1 = \mathcal{F}_0 \cup \{ \text{ReLU}(\cdot)\} $ is enough to
generate flow maps that can uniformly approximate diffeomorphisms of
$\mathbb{R}^d$ on any compact domain, where $\mathcal{F}_0 = \{x \mapsto Ax+b:
A\in \mathbb{R}^{d\times d}, b \in \mathbb{R}^d\}$ is the set of linear maps
and the dimension $d\ge2$. Since $\mathcal{F}_1$ contains only one nonlinear
function and $\mathcal{F}_0$ does not hold the UAP, we call $\mathcal{F}_1$ a
minimal control family for UAP. Based on this, some sufficient conditions, such
as the affine invariance, on the control family are established and discussed.
Our result reveals an underlying connection between the approximation power of
neural networks and control systems.
- Abstract（参考訳）: ニューラルネットワークの普遍近似特性(UAP)はディープラーニングの基本的な特徴である。
線形関数と正則線型単位(ReLU)アクティベーション関数のような非線形関数の合成がコンパクト領域上の連続関数を近似することができることは広く認識されている。
本稿では,この効果を制御を伴う動的システムのシナリオに拡張する。
制御群 $\mathcal{f}_1 = \mathcal{f}_0 \cup \{ \text{relu}(\cdot)\} $ は任意のコンパクトな領域上で$\mathbb{r}^d$ の微分同相写像を一様近似できるフローマップを生成するのに十分であることを証明し、ここで $\mathcal{f}_0 = \{x \mapsto ax+b: a\in \mathbb{r}^{d\times d}, b \in \mathbb{r}^d\}$ は線型写像の集合であり、次元は $d\ge2$ である。
$\mathcal{F}_1$ は1つの非線形関数のみを含み、$\mathcal{F}_0$ は UAP を保持しないので、UAP の最小制御ファミリを $\mathcal{F}_1$ と呼ぶ。
これに基づいて,コントロールファミリー上のアフィン不変性などの条件を定式化し,議論する。
その結果,ニューラルネットワークの近似パワーと制御系との接続が明らかになった。
関連論文リスト
- Representing Piecewise-Linear Functions by Functions with Minimal Arity [0.5266869303483376]
入力空間 $mathbbRn$ の関数 $F$ によるテッセルレーションは、$max$ 関数の引数の数に直結することを示す。
論文 参考訳（メタデータ） (2024-06-04T15:39:08Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - Tractability of approximation by general shallow networks [0.0]
xmapsto sum_k=1n a_kG(x, y_k)$, $ xinmathbbX$, by $G$-networks of the form $ xmapsto sum_k=1n a_kG(x, y_k)$。
独立次元境界を$n$で近似の度合いで取得し、関連する定数もすべて次元に依存する。
論文 参考訳（メタデータ） (2023-08-07T00:14:46Z) - Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal
Approximation [10.249623880822055]
本稿では,関数クラス $C(K,mathbbRd_y)$ に対する統一 UAP について検討する。
リーク-ReLU NNの正確な最小幅は$w_min=max(d_x,d_y)+Delta (d_x,d_y)$である。
論文 参考訳（メタデータ） (2023-05-29T06:51:16Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Local approximation of operators [0.0]
距離空間 $mathfrakX$ と $mathfrakY$ の間の非線形作用素の近似の度合いを決定する問題について検討する。
例えば、$mathbbSd$ の近似に関係する定数は $mathcalO(d1/6)$ である。
論文 参考訳（メタデータ） (2022-02-13T19:28:34Z) - On minimal representations of shallow ReLU networks [0.0]
f$の最小表現は$n$、$n+1$または$n+2$のどちらかを使用する。
特に入力層が一次元の場合、最小表現は常に少なくとも$n+1$のニューロンで使用されるが、高次元設定では$n+2$のニューロンを必要とする関数が存在する。
論文 参考訳（メタデータ） (2021-08-12T10:22:24Z) - Submodular + Concave [53.208470310734825]
第一次最適化法が凹関数の最大目的値に収束できることはよく確立されている。
本研究では、滑らかな函数凸体(英語版)の行列式を$F(x) = G(x) +C(x)$で始める。
このクラスの函数は、保証がないような凹凸函数と連続DR-部分モジュラ函数の両方の拡張である。
論文 参考訳（メタデータ） (2021-06-09T01:59:55Z) - A deep network construction that adapts to intrinsic dimensionality
beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。
例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文 参考訳（メタデータ） (2020-08-06T09:50:29Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳（メタデータ） (2020-02-23T22:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。