論文の概要: Expressivity of Neural Networks via Chaotic Itineraries beyond Sharkovsky's Theorem

• arxiv url: http://arxiv.org/abs/2110.10295v1
• Date: Tue, 19 Oct 2021 22:28:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-24 07:03:37.932734
• Title: Expressivity of Neural Networks via Chaotic Itineraries beyond Sharkovsky's Theorem
• Title（参考訳）: シャーコフスキー理論を超えたカオスイテナリーによるニューラルネットワークの表現性
• Authors: Clayton Sanford, and Vaggos Chatziafratis
• Abstract要約: ターゲット関数が$f$であれば、ニューラルネットワークは$f$を近似するためにどのくらいの大きさでなければならないか? 近年の研究では、力学系のレンズから得られる「ニューラルネットワークのテキスト表現性」に関する基本的な問題について検討している。
• 参考スコア（独自算出の注目度）: 8.492084752803528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a target function $f$, how large must a neural network be in order to approximate $f$? Recent works examine this basic question on neural network \textit{expressivity} from the lens of dynamical systems and provide novel ``depth-vs-width'' tradeoffs for a large family of functions $f$. They suggest that such tradeoffs are governed by the existence of \textit{periodic} points or \emph{cycles} in $f$. Our work, by further deploying dynamical systems concepts, illuminates a more subtle connection between periodicity and expressivity: we prove that periodic points alone lead to suboptimal depth-width tradeoffs and we improve upon them by demonstrating that certain ``chaotic itineraries'' give stronger exponential tradeoffs, even in regimes where previous analyses only imply polynomial gaps. Contrary to prior works, our bounds are nearly-optimal, tighten as the period increases, and handle strong notions of inapproximability (e.g., constant $L_1$ error). More broadly, we identify a phase transition to the \textit{chaotic regime} that exactly coincides with an abrupt shift in other notions of function complexity, including VC-dimension and topological entropy.
• Abstract（参考訳）: ターゲット関数が$f$であれば、ニューラルネットワークは$f$を近似するためにどのくらいの大きさでなければならないか? 最近の研究は、力学系のレンズからニューラルネットワークの \textit{expressivity}に関するこの基本的な問題を調べ、関数の大規模なファミリーに対して、新しい ``depth-vs-width''' トレードオフを提供する。 これらのトレードオフは、$f$ における \textit{ periodic} point または \emph{cycles} の存在によって支配される。 我々の研究は、動的システムの概念をさらに展開することで、周期性と表現性の間のより微妙な関係を照らし、周期的な点のみが最適深度-幅のトレードオフにつながることを証明し、より強い指数的なトレードオフを与えることを示す。 以前の仕事とは対照的に、我々の境界はほぼ最適であり、周期が増加するにつれて引き締まり、近似可能性の強い概念(例えば、定数 $l_1$ エラー)を扱う。 より広くは、VC次元やトポロジカルエントロピーを含む他の関数複雑性の概念の急激なシフトと正確に一致する「textit{chaotic regime}」への相転移を特定する。

関連論文リスト

• The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
  連続状態と行動空間を持つ非線形力学系に対するオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、その単純さ、事前知識を組み込む能力、そして良心的な過渡的行動のために、実際に有用である可能性が高い。
  論文  参考訳（メタデータ） (2025-01-27T10:01:28Z)
• Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
  我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。 無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。 この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
  論文  参考訳（メタデータ） (2024-05-27T18:15:05Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Excess risk bound for deep learning under weak dependence [0.0]
  本稿では、弱い依存プロセスを学ぶためのディープニューラルネットワークについて考察する。 我々は、任意のH"古いスムーズな関数を近似するために、ディープニューラルネットワークに必要な深さ、幅、間隔を導出する。
  論文  参考訳（メタデータ） (2023-02-15T07:23:48Z)
• Signatures of the interplay between chaos and local criticality on the dynamics of scrambling in many-body systems [0.0]
  積分可能性-カオス遷移が最初に現れる複雑な位相空間領域における局所臨界とカオスの相互作用について検討する。 我々の目的は、古典的な系から派生した量に対して、量子Lyapunov exponent $lambda_textrmq$を定義することによって、OTOCsの指数的成長の依存性を調べることである。
  論文  参考訳（メタデータ） (2022-11-22T10:26:17Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Neural Network Approximation of Continuous Functions in High Dimensions with Applications to Inverse Problems [6.84380898679299]
  現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。 ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
  論文  参考訳（メタデータ） (2022-08-28T22:44:07Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• On the Banach spaces associated with multi-layer ReLU networks: Function representation, approximation theory and gradient descent dynamics [8.160343645537106]
  有限深さ$L$および無限幅のReLUニューラルネットワークに対するバナッハ空間を開発する。 空間はすべての有限完全連結な$L$-層ネットワークと、それらの$L2$-極限オブジェクトを自然経路ノルムの下に含む。 このノルムの下では、$L$層ネットワークの空間内の単位球は、ラデマッハの複雑さが低く、したがって好ましい性質を持つ。
  論文  参考訳（メタデータ） (2020-07-30T17:47:05Z)
• Better Depth-Width Trade-offs for Neural Networks through the lens of Dynamical Systems [24.229336600210015]
  近年, 動的システムとの新たな接続により, ReLU ネットワークの深度分離結果を得た。 既存の幅の低い境界を、いくつかの面で改善する。 我々の結果の副産物は、深さ幅のトレードオフを特徴づける普遍定数が存在することである。
  論文  参考訳（メタデータ） (2020-03-02T11:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。