論文の概要: Convergence of Deep Neural Networks with General Activation Functions and Pooling

• arxiv url: http://arxiv.org/abs/2205.06570v1
• Date: Fri, 13 May 2022 11:49:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-16 14:16:31.291948
• Title: Convergence of Deep Neural Networks with General Activation Functions and Pooling
• Title（参考訳）: 一般活性化関数とプールを持つディープニューラルネットワークの収束
• Authors: Wentao Huang, Yuesheng Xu, Haizhang Zhang
• Abstract要約: ディープラーニングの数学的基盤を構築する上で、ディープニューラルネットワークの収束は根本的な問題である。 深部ニューラルネットワークの収束性について検討し,その深度はReLUとSigmoid関数の2つの他の活性化関数に対して無限大であることを示した。
• 参考スコア（独自算出の注目度）: 5.316908050163474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks, as a powerful system to represent high dimensional complex functions, play a key role in deep learning. Convergence of deep neural networks is a fundamental issue in building the mathematical foundation for deep learning. We investigated the convergence of deep ReLU networks and deep convolutional neural networks in two recent researches (arXiv:2107.12530, 2109.13542). Only the Rectified Linear Unit (ReLU) activation was studied therein, and the important pooling strategy was not considered. In this current work, we study the convergence of deep neural networks as the depth tends to infinity for two other important activation functions: the leaky ReLU and the sigmoid function. Pooling will also be studied. As a result, we prove that the sufficient condition established in arXiv:2107.12530, 2109.13542 is still sufficient for the leaky ReLU networks. For contractive activation functions such as the sigmoid function, we establish a weaker sufficient condition for uniform convergence of deep neural networks.
• Abstract（参考訳）: 深層ニューラルネットワークは、高次元の複雑な関数を表現する強力なシステムであり、ディープラーニングにおいて重要な役割を果たす。 深層ニューラルネットワークの収束は、ディープラーニングの数学的基礎を構築する上で基本的な問題である。 最近の2つの研究(arXiv:2107.12530, 2109.13542)において、深部ReLUネットワークと深部畳み込みニューラルネットワークの収束について検討した。 そこでは整流線形単位(relu)活性化のみが研究され,重要なプーリング戦略は考慮されなかった。 本研究は, 深部ニューラルネットワークの収束度を, 漏洩ReLUとシグモイド関数の2つの重要な活性化関数に対して無限大となる傾向として検討する。 プールも研究される。 その結果、arXiv:2107.12530, 2109.13542 で確立された十分条件は、漏洩した ReLU ネットワークにはまだ十分であることが証明された。 シグモイド関数のような収縮活性化関数に対して、深部ニューラルネットワークの一様収束のためのより弱い条件を確立する。

関連論文リスト

• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Convergence of Deep Convolutional Neural Networks [2.5991265608180396]
  ネットワークの深さが無限大になる傾向にあるディープニューラルネットワークの収束は、ディープラーニングの数学的基礎を構築するのに不可欠である。 まず,幅を拡大した一般ReLUネットワークの収束について検討し,得られた結果を深部畳み込みニューラルネットワークに適用する。
  論文  参考訳（メタデータ） (2021-09-28T07:48:17Z)
• Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
  より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。 We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。 対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
  論文  参考訳（メタデータ） (2021-05-31T09:49:14Z)
• Theoretical Analysis of the Advantage of Deepening Neural Networks [0.0]
  ディープニューラルネットワークによって計算可能な関数の表現性を知ることが重要である。 この2つの基準により,深層ニューラルネットワークの表現性を向上させる上で,各層におけるユニットの増加よりも,レイヤの増加の方が効果的であることを示す。
  論文  参考訳（メタデータ） (2020-09-24T04:10:50Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Rational neural networks [3.4376560669160394]
  我々は合理的な活性化機能を持つニューラルネットワークを考える。 有理ニューラルネットワークが指数関数的に小さいReLUネットワークよりもスムーズな関数を効率的に近似していることを証明する。
  論文  参考訳（メタデータ） (2020-04-04T10:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。