論文の概要: Complexity Measures for Neural Networks with General Activation
Functions Using Path-based Norms
- arxiv url: http://arxiv.org/abs/2009.06132v1
- Date: Mon, 14 Sep 2020 01:15:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 11:32:36.350176
- Title: Complexity Measures for Neural Networks with General Activation
Functions Using Path-based Norms
- Title（参考訳）: 経路ノルムを用いた一般活性化機能を有するニューラルネットワークの複雑度対策
- Authors: Zhong Li and Chao Ma and Lei Wu
- Abstract要約: 一般活性化関数を持つニューラルネットワークの複雑性制御を実現するための簡単な手法を提案する。
経路に基づくノルムを制御複雑性に導出する2層ネットワークとディープ・残差ネットワークを考察する。
- 参考スコア（独自算出の注目度）: 18.487936403345167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A simple approach is proposed to obtain complexity controls for neural
networks with general activation functions. The approach is motivated by
approximating the general activation functions with one-dimensional ReLU
networks, which reduces the problem to the complexity controls of ReLU
networks. Specifically, we consider two-layer networks and deep residual
networks, for which path-based norms are derived to control complexities. We
also provide preliminary analyses of the function spaces induced by these norms
and a priori estimates of the corresponding regularized estimators.
- Abstract（参考訳）: 一般活性化関数を持つニューラルネットワークの複雑性制御を実現するための簡単な手法を提案する。
この手法は、一般活性化関数を1次元のReLUネットワークで近似することにより、ReLUネットワークの複雑性制御に還元する。
具体的には、経路に基づくノルムが複雑度を制御するために導出される2層ネットワークと深い残留ネットワークを考える。
また、これらのノルムによって引き起こされる関数空間の予備解析と、対応する正規化推定子の事前推定も提供する。
関連論文リスト
- Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。
この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文 参考訳（メタデータ） (2024-03-14T21:48:00Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳（メタデータ） (2023-04-19T16:39:44Z) - The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。
隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。
スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文 参考訳（メタデータ） (2022-02-13T07:12:02Z) - Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。
本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文 参考訳（メタデータ） (2022-01-31T22:00:41Z) - Path Regularization: A Convexity and Sparsity Inducing Regularization
for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。
我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文 参考訳（メタデータ） (2021-10-18T18:00:36Z) - Towards Understanding Theoretical Advantages of Complex-Reaction
Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。
経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文 参考訳（メタデータ） (2021-08-15T10:13:49Z) - Validation of RELU nets with tropical polyhedra [7.087237546722617]
本稿では,熱帯ポリヘドラを用いてReLUフィードフォワードニューラルネットワークを抽象化する手法を提案する。
本稿では、ReLUネットワークと熱帯有理関数の接続が、ReLUニューラルネットワークのレンジ解析にどのように役立つかを示す。
論文 参考訳（メタデータ） (2021-07-30T06:22:59Z) - On reaction network implementations of neural networks [0.0]
本稿では,(フィードフォワード)ニューラルネットワークの実装に決定論的にモデル化された化学反応ネットワークの利用について述べる。
ニューラルネットワークのある種の反応ネットワーク実装に付随する常微分方程式(ODE)が望ましい性質を持つことを示す。
論文 参考訳（メタデータ） (2020-10-26T02:37:26Z) - Universal Approximation Power of Deep Residual Neural Networks via
Nonlinear Control Theory [9.210074587720172]
我々は、幾何学的非線形制御により、ディープ残差ニューラルネットワークの普遍近似能力を説明する。
残余ネットワークと制御システムとのリンクを確立する最近の研究に触発されて、残余ネットワークが普遍近似の力を持つための一般的な条件を提供する。
論文 参考訳（メタデータ） (2020-07-12T14:53:30Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。