論文の概要: Expressivity of Neural Networks via Chaotic Itineraries beyond
Sharkovsky's Theorem
- arxiv url: http://arxiv.org/abs/2110.10295v1
- Date: Tue, 19 Oct 2021 22:28:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-24 07:03:37.932734
- Title: Expressivity of Neural Networks via Chaotic Itineraries beyond
Sharkovsky's Theorem
- Title(参考訳): シャーコフスキー理論を超えたカオスイテナリーによるニューラルネットワークの表現性
- Authors: Clayton Sanford, and Vaggos Chatziafratis
- Abstract要約: ターゲット関数が$f$であれば、ニューラルネットワークは$f$を近似するためにどのくらいの大きさでなければならないか?
近年の研究では、力学系のレンズから得られる「ニューラルネットワークのテキスト表現性」に関する基本的な問題について検討している。
- 参考スコア(独自算出の注目度): 8.492084752803528
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given a target function $f$, how large must a neural network be in order to
approximate $f$? Recent works examine this basic question on neural network
\textit{expressivity} from the lens of dynamical systems and provide novel
``depth-vs-width'' tradeoffs for a large family of functions $f$. They suggest
that such tradeoffs are governed by the existence of \textit{periodic} points
or \emph{cycles} in $f$. Our work, by further deploying dynamical systems
concepts, illuminates a more subtle connection between periodicity and
expressivity: we prove that periodic points alone lead to suboptimal
depth-width tradeoffs and we improve upon them by demonstrating that certain
``chaotic itineraries'' give stronger exponential tradeoffs, even in regimes
where previous analyses only imply polynomial gaps. Contrary to prior works,
our bounds are nearly-optimal, tighten as the period increases, and handle
strong notions of inapproximability (e.g., constant $L_1$ error). More broadly,
we identify a phase transition to the \textit{chaotic regime} that exactly
coincides with an abrupt shift in other notions of function complexity,
including VC-dimension and topological entropy.
- Abstract(参考訳): ターゲット関数が$f$であれば、ニューラルネットワークは$f$を近似するためにどのくらいの大きさでなければならないか?
最近の研究は、力学系のレンズからニューラルネットワークの \textit{expressivity}に関するこの基本的な問題を調べ、関数の大規模なファミリーに対して、新しい ``depth-vs-width''' トレードオフを提供する。
これらのトレードオフは、$f$ における \textit{ periodic} point または \emph{cycles} の存在によって支配される。
我々の研究は、動的システムの概念をさらに展開することで、周期性と表現性の間のより微妙な関係を照らし、周期的な点のみが最適深度-幅のトレードオフにつながることを証明し、より強い指数的なトレードオフを与えることを示す。
以前の仕事とは対照的に、我々の境界はほぼ最適であり、周期が増加するにつれて引き締まり、近似可能性の強い概念(例えば、定数 $l_1$ エラー)を扱う。
より広くは、VC次元やトポロジカルエントロピーを含む他の関数複雑性の概念の急激なシフトと正確に一致する「textit{chaotic regime}」への相転移を特定する。
関連論文リスト
- Convergence of Gradient Descent for Recurrent Neural Networks: A
Nonasymptotic Analysis [19.95757894913852]
我々は,動的システムの教師付き学習環境において,勾配降下を訓練した繰り返しニューラルネットワークを解析した。
我々は、$n$サンプルでトレーニングされた適切なd型リカレントニューラルネットワークが、$n$で対数的にのみスケールするネットワークサイズ$m$で最適性を達成できることを示します。
論文 参考訳(メタデータ) (2024-02-19T15:56:43Z) - Temporal Aggregation and Propagation Graph Neural Networks for Dynamic
Representation [67.26422477327179]
時間グラフは連続時間を通してノード間の動的相互作用を示す。
本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。
提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-04-15T08:17:18Z) - Excess risk bound for deep learning under weak dependence [0.0]
本稿では、弱い依存プロセスを学ぶためのディープニューラルネットワークについて考察する。
我々は、任意のH"古いスムーズな関数を近似するために、ディープニューラルネットワークに必要な深さ、幅、間隔を導出する。
論文 参考訳(メタデータ) (2023-02-15T07:23:48Z) - Understanding Deep Neural Function Approximation in Reinforcement
Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。
我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。
我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
論文 参考訳(メタデータ) (2022-09-15T15:42:47Z) - Neural Network Approximation of Continuous Functions in High Dimensions
with Applications to Inverse Problems [6.84380898679299]
現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。
ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
論文 参考訳(メタデータ) (2022-08-28T22:44:07Z) - Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。
平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。
提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
論文 参考訳(メタデータ) (2021-12-10T15:06:11Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳(メタデータ) (2021-04-05T18:02:04Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳(メタデータ) (2020-11-09T18:32:22Z) - On the Banach spaces associated with multi-layer ReLU networks: Function
representation, approximation theory and gradient descent dynamics [8.160343645537106]
有限深さ$L$および無限幅のReLUニューラルネットワークに対するバナッハ空間を開発する。
空間はすべての有限完全連結な$L$-層ネットワークと、それらの$L2$-極限オブジェクトを自然経路ノルムの下に含む。
このノルムの下では、$L$層ネットワークの空間内の単位球は、ラデマッハの複雑さが低く、したがって好ましい性質を持つ。
論文 参考訳(メタデータ) (2020-07-30T17:47:05Z) - Deep Polynomial Neural Networks [77.70761658507507]
$Pi$Netsは拡張に基づいた関数近似の新しいクラスである。
$Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
論文 参考訳(メタデータ) (2020-06-20T16:23:32Z) - Better Depth-Width Trade-offs for Neural Networks through the lens of
Dynamical Systems [24.229336600210015]
近年, 動的システムとの新たな接続により, ReLU ネットワークの深度分離結果を得た。
既存の幅の低い境界を、いくつかの面で改善する。
我々の結果の副産物は、深さ幅のトレードオフを特徴づける普遍定数が存在することである。
論文 参考訳(メタデータ) (2020-03-02T11:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。