論文の概要: Universal Approximation Power of Deep Residual Neural Networks via Nonlinear Control Theory

• arxiv url: http://arxiv.org/abs/2007.06007v3
• Date: Wed, 16 Dec 2020 19:44:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 05:47:38.203215
• Title: Universal Approximation Power of Deep Residual Neural Networks via Nonlinear Control Theory
• Title（参考訳）: 非線形制御理論による深層残留ニューラルネットワークの普遍近似パワー
• Authors: Paulo Tabuada and Bahman Gharesifard
• Abstract要約: 我々は、幾何学的非線形制御により、ディープ残差ニューラルネットワークの普遍近似能力を説明する。 残余ネットワークと制御システムとのリンクを確立する最近の研究に触発されて、残余ネットワークが普遍近似の力を持つための一般的な条件を提供する。
• 参考スコア（独自算出の注目度）: 10.926992035470372
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we explain the universal approximation capabilities of deep residual neural networks through geometric nonlinear control. Inspired by recent work establishing links between residual networks and control systems, we provide a general sufficient condition for a residual network to have the power of universal approximation by asking the activation function, or one of its derivatives, to satisfy a quadratic differential equation. Many activation functions used in practice satisfy this assumption, exactly or approximately, and we show this property to be sufficient for an adequately deep neural network with $n+1$ neurons per layer to approximate arbitrarily well, on a compact set and with respect to the supremum norm, any continuous function from $\mathbb{R}^n$ to $\mathbb{R}^n$. We further show this result to hold for very simple architectures for which the weights only need to assume two values. The first key technical contribution consists of relating the universal approximation problem to controllability of an ensemble of control systems corresponding to a residual network and to leverage classical Lie algebraic techniques to characterize controllability. The second technical contribution is to identify monotonicity as the bridge between controllability of finite ensembles and uniform approximability on compact sets.
• Abstract（参考訳）: 本稿では,幾何非線形制御による深層残留ニューラルネットワークの普遍近似能力について述べる。 残差ネットワークと制御システムとのリンクを確立する最近の研究に触発されて、残差ネットワークが活性化関数、あるいはその導関数の1つに二次微分方程式を満たすことによって普遍近似の力を持つための一般的な十分条件を提供する。 実際に用いられる多くの活性化関数はこの仮定を正確にあるいはほぼ満たしており、この性質は、コンパクトな集合と上限ノルムに関して、$\mathbb{R}^n$ から $\mathbb{R}^n$ までの任意の連続函数において、各層に$n+1$のニューロンを持つ適切な深層ニューラルネットワークに対して、任意に近似するのに十分であることを示す。 さらに、重み付けが2つの値を仮定するだけでよい非常に単純なアーキテクチャについて、この結果を示す。 最初の重要な技術的貢献は、普遍近似問題を残留ネットワークに対応する制御系のアンサンブルの制御可能性に関連付け、古典的なリー代数的手法を利用して制御可能性を特徴づけることである。 2つ目の技術的貢献は、有限アンサンブルの可制御性とコンパクト集合上の一様近似の間の橋渡しとして単調性を特定することである。

関連論文リスト

• Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces [0.0]
  本稿では,ReLUニューラルネットワークによる有界関数のクラスを最小限の正則性仮定で近似する。 近似誤差は対象関数の一様ノルムに比例した量で上から有界化可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-10T14:31:58Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Interpolation, Approximation and Controllability of Deep Neural Networks [18.311411538309425]
  教師付き学習、すなわち普遍的および普遍的近似から生じる2つの特性について考察する。 普遍同値性の特徴を与え、本質的には非線型性を持つ任意のアーキテクチャに対して成り立つことを示す。
  論文  参考訳（メタデータ） (2023-09-12T07:29:47Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
  まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。 また,2層ニューラルネットワークについても同様の結果が得られた。
  論文  参考訳（メタデータ） (2021-08-10T23:30:29Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Complexity Measures for Neural Networks with General Activation Functions Using Path-based Norms [18.487936403345167]
  一般活性化関数を持つニューラルネットワークの複雑性制御を実現するための簡単な手法を提案する。 経路に基づくノルムを制御複雑性に導出する2層ネットワークとディープ・残差ネットワークを考察する。
  論文  参考訳（メタデータ） (2020-09-14T01:15:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。