論文の概要: On the Expected Complexity of Maxout Networks
- arxiv url: http://arxiv.org/abs/2107.00379v1
- Date: Thu, 1 Jul 2021 11:36:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 13:58:17.732628
- Title: On the Expected Complexity of Maxout Networks
- Title(参考訳): Maxout ネットワークの複雑さについて
- Authors: Hanna Tseran, Guido Mont\'ufar
- Abstract要約: 近年の研究では、深いReLUネットワークの実際的な複雑さは理論的な最大値からは程遠いことが示されている。
本研究では、この現象は、最大(マルチモーメント)アクティベーション関数を持つネットワークでも発生することを示す。
また、パラメータ空間は、広く異なる複雑さを持つ多次元領域を持ち、期待される複雑さの非自明な下界を得ることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning with neural networks relies on the complexity of the representable
functions, but more importantly, the particular assignment of typical
parameters to functions of different complexity. Taking the number of
activation regions as a complexity measure, recent works have shown that the
practical complexity of deep ReLU networks is often far from the theoretical
maximum. In this work we show that this phenomenon also occurs in networks with
maxout (multi-argument) activation functions and when considering the decision
boundaries in classification tasks. We also show that the parameter space has a
multitude of full-dimensional regions with widely different complexity, and
obtain nontrivial lower bounds on the expected complexity. Finally, we
investigate different parameter initialization procedures and show that they
can increase the speed of convergence in training.
- Abstract(参考訳): ニューラルネットワークによる学習は、表現可能な関数の複雑さに依存するが、より重要なのは、典型的なパラメータを異なる複雑性の関数に割り当てることである。
近年の研究では、アクティベーション領域の数を複雑度指標として、深層reluネットワークの実用的複雑さは理論上の最大値に遠く及ばないことが示されている。
本研究では,この現象が,最大(多項)アクティベーション関数を持つネットワークや,分類タスクにおける決定境界を考慮した場合にも発生することを示す。
また、パラメータ空間は、広く異なる複雑さを持つ多次元領域を持ち、期待される複雑さの非自明な下界を得ることを示す。
最後に,各パラメータの初期化手順について検討し,学習時の収束速度を向上できることを示す。
関連論文リスト
- Complexity of Deep Neural Networks from the Perspective of Functional
Equivalence [1.3597551064547502]
機能的等価性の概念を考察し、異なるネットワークパラメータ化が同じ機能をもたらすことを示唆する。
本稿では,畳み込みニューラルネットワーク,残差ネットワーク,注意に基づくモデルの拡張について論じる。
論文 参考訳(メタデータ) (2023-05-19T04:01:27Z) - Bayes Complexity of Learners vs Overfitting [4.873362301533825]
関数の複雑性という新しい概念が、PACベイズのような一般化境界を支配していることを示す。
従来の研究とは対照的に、我々は自然に複数の層を持つニューラルネットワークに一般化している。
上界の導出により、2層と4層ニューラルネットワークの良好な一般化に必要なサンプル数の分離が図れる。
論文 参考訳(メタデータ) (2023-03-13T13:07:02Z) - On the Approximation and Complexity of Deep Neural Networks to Invariant
Functions [0.0]
深部ニューラルネットワークの不変関数への近似と複雑性について検討する。
様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。
我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
論文 参考訳(メタデータ) (2022-10-27T09:19:19Z) - On Rademacher Complexity-based Generalization Bounds for Deep Learning [18.601449856300984]
Rademacherの複雑性に基づくアプローチは、畳み込みニューラルネットワーク(CNN)上の非空の一般化バウンダリを生成することができることを示す。
以上の結果から,ReLU,Leaky ReLU,Parametric Rectifier Linear Unit,Sigmoid,Tanhなどの特別なアクティベーション機能を持つCNNのネットワーク長に依存しないことがわかった。
論文 参考訳(メタデータ) (2022-08-08T17:24:04Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Towards Understanding Theoretical Advantages of Complex-Reaction
Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。
経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文 参考訳(メタデータ) (2021-08-15T10:13:49Z) - What training reveals about neural network complexity [80.87515604428346]
この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。
我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
論文 参考訳(メタデータ) (2021-06-08T08:58:00Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳(メタデータ) (2020-11-09T18:32:22Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳(メタデータ) (2020-07-28T09:31:56Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。