論文の概要: On Enhancing Expressive Power via Compositions of Single Fixed-Size ReLU
Network
- arxiv url: http://arxiv.org/abs/2301.12353v2
- Date: Tue, 30 May 2023 22:01:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 03:20:40.706991
- Title: On Enhancing Expressive Power via Compositions of Single Fixed-Size ReLU
Network
- Title（参考訳）: 単一固定サイズReLUネットワークの構成による表現力向上について
- Authors: Shijun Zhang, Jianfeng Lu, Hongkai Zhao
- Abstract要約: 1つの固定サイズReLUネットワークの繰り返し構成が驚くほどの表現力を示すことを示す。
この結果から, 動的系を経由した連続深度ネットワークは, 動的関数が時間非依存であっても, 膨大な近似能力を有することが明らかとなった。
- 参考スコア（独自算出の注目度）: 11.66117393949175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores the expressive power of deep neural networks through the
framework of function compositions. We demonstrate that the repeated
compositions of a single fixed-size ReLU network exhibit surprising expressive
power, despite the limited expressive capabilities of the individual network
itself. Specifically, we prove by construction that $\mathcal{L}_2\circ
\boldsymbol{g}^{\circ r}\circ \boldsymbol{\mathcal{L}}_1$ can approximate
$1$-Lipschitz continuous functions on $[0,1]^d$ with an error
$\mathcal{O}(r^{-1/d})$, where $\boldsymbol{g}$ is realized by a fixed-size
ReLU network, $\boldsymbol{\mathcal{L}}_1$ and $\mathcal{L}_2$ are two affine
linear maps matching the dimensions, and $\boldsymbol{g}^{\circ r}$ denotes the
$r$-times composition of $\boldsymbol{g}$. Furthermore, we extend such a result
to generic continuous functions on $[0,1]^d$ with the approximation error
characterized by the modulus of continuity. Our results reveal that a
continuous-depth network generated via a dynamical system has immense
approximation power even if its dynamics function is time-independent and
realized by a fixed-size ReLU network.
- Abstract（参考訳）: 本稿では,関数合成の枠組みによるディープニューラルネットワークの表現力について考察する。
本稿では,単一固定サイズのreluネットワークの繰り返し構成が,個々のネットワーク自体の表現能力に制限があるにもかかわらず,驚くべき表現力を示すことを示す。
具体的には、$\mathcal{l}_2\circ \boldsymbol{g}^{\circ r}\circ \boldsymbol{\mathcal{l}}_1$ が、$[0,1]^d$ で$\mathcal{o}(r^{-1/d})$ の誤差を持つ$[0,1]^d$ のリプシッツ連続関数を近似し、$\boldsymbol{g}$ は固定サイズのreluネットワークによって実現され、$\boldsymbol{\mathcal{l}}_1$ と $\mathcal{l}_2$ は次元に一致する2つのアフィン線型写像であり、$\boldsymbol{g}^{\circ r}$ は$r$ である。
さらに、そのような結果を$[0,1]^d$上の一般連続関数に拡張し、近似誤差は連続性の係数によって特徴づけられる。
この結果から, 動的システムによる連続深度ネットワークは, 動的関数が時間非依存であり, 固定サイズReLUネットワークによって実現されたとしても, 膨大な近似能力を有することがわかった。
関連論文リスト
- Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。
幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
論文 参考訳（メタデータ） (2024-07-04T11:34:42Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳（メタデータ） (2022-08-17T08:14:52Z) - Expressive power of binary and ternary neural networks [91.3755431537592]
3次重みを持つ深いスパースReLUネットワークと2次重みを持つ深いReLUネットワークは、[0,1]d$上の$beta$-H"古い関数を近似できることを示す。
論文 参考訳（メタデータ） (2022-06-27T13:16:08Z) - ReLU Network Approximation in Terms of Intrinsic Parameters [5.37133760455631]
固有パラメータ数の観点からReLUネットワークの近似誤差について検討する。
我々は、3つの固有パラメータしか持たないReLUネットワークを設計し、任意の誤差でH"古い連続関数を近似する。
論文 参考訳（メタデータ） (2021-11-15T18:20:38Z) - On minimal representations of shallow ReLU networks [0.0]
f$の最小表現は$n$、$n+1$または$n+2$のどちらかを使用する。
特に入力層が一次元の場合、最小表現は常に少なくとも$n+1$のニューロンで使用されるが、高次元設定では$n+2$のニューロンを必要とする関数が存在する。
論文 参考訳（メタデータ） (2021-08-12T10:22:24Z) - Neural networks with superexpressive activations and integer weights [91.3755431537592]
アクティベーション関数の例 $sigma$ は、アクティベーションを持つネットワーク $sigma, lfloorcdotrfloor$, integer weights と固定アーキテクチャが与えられる。
より古い連続関数の $varepsilon$-approximation に必要な整数ウェイトの範囲が導出される。
論文 参考訳（メタデータ） (2021-05-20T17:29:08Z) - Deep Neural Networks with ReLU-Sine-Exponential Activations Break Curse
of Dimensionality on H\"older Class [6.476766717110237]
活性化関数としてReLU,sine,2x$のニューラルネットワークを構築した。
スーパー表現力に加えて、ReLU-sine-$2x$ネットワークで実装された関数は(一般化)微分可能である。
論文 参考訳（メタデータ） (2021-02-28T15:57:42Z) - A deep network construction that adapts to intrinsic dimensionality
beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。
例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文 参考訳（メタデータ） (2020-08-06T09:50:29Z) - Sharp Representation Theorems for ReLU Networks with Precise Dependence
on Depth [26.87238691716307]
D$ReLU層を持つニューラルネットワークに対して,2乗損失下でのシャープな表現結果を証明した。
その結果、より深いネットワークはよりスムーズな関数を表現するのに優れているという仮説が実証された。
論文 参考訳（メタデータ） (2020-06-07T05:25:06Z) - On the Modularity of Hypernetworks [103.1147622394852]
構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
論文 参考訳（メタデータ） (2020-02-23T22:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。