論文の概要: Convergence of Deep Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2109.13542v1
• Date: Tue, 28 Sep 2021 07:48:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-29 14:42:24.356041
• Title: Convergence of Deep Convolutional Neural Networks
• Title（参考訳）: 深部畳み込みニューラルネットワークの収束性
• Authors: Yuesheng Xu and Haizhang Zhang
• Abstract要約: ネットワークの深さが無限大になる傾向にあるディープニューラルネットワークの収束は、ディープラーニングの数学的基礎を構築するのに不可欠である。 まず,幅を拡大した一般ReLUネットワークの収束について検討し,得られた結果を深部畳み込みニューラルネットワークに適用する。
• 参考スコア（独自算出の注目度）: 2.5991265608180396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convergence of deep neural networks as the depth of the networks tends to infinity is fundamental in building the mathematical foundation for deep learning. In a previous study, we investigated this question for deep ReLU networks with a fixed width. This does not cover the important convolutional neural networks where the widths are increasing from layer to layer. For this reason, we first study convergence of general ReLU networks with increasing widths and then apply the results obtained to deep convolutional neural networks. It turns out the convergence reduces to convergence of infinite products of matrices with increasing sizes, which has not been considered in the literature. We establish sufficient conditions for convergence of such infinite products of matrices. Based on the conditions, we present sufficient conditions for piecewise convergence of general deep ReLU networks with increasing widths, and as well as pointwise convergence of deep ReLU convolutional neural networks.
• Abstract（参考訳）: ネットワークの深さが無限になりがちであるディープニューラルネットワークの収束は、ディープラーニングの数学的基礎を構築する上で基本である。 本研究では,固定幅の深いReLUネットワークに対するこの問題について検討した。 これは、層から層へと幅が増大する重要な畳み込みニューラルネットワークを対象としない。 そのため,まず幅が大きくなる一般ReLUネットワークの収束について検討し,得られた結果を深部畳み込みニューラルネットワークに適用した。 その結果、収束は行列の無限積の収束に小さくなり、大きさは増大するが、文献では考慮されていない。 このような行列の無限積の収束に十分な条件を定めている。 これらの条件に基づき、幅の増大と深いReLU畳み込みニューラルネットワークの点収束を両立させるのに十分な条件を提示する。

関連論文リスト

• Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
  独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。 これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。 行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
  論文  参考訳（メタデータ） (2023-10-11T18:00:02Z)
• Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization [5.678271181959529]
  層数の関数としてReLUニューラルネットワークへの2つの入力間の角度の進化について検討する。 モンテカルロ実験を用いて理論的結果を検証し, 有限ネットワークの挙動を正確に近似することを示した。 また,深度縮退現象が実際のネットワークのトレーニングに悪影響を及ぼすかを実証的に検討した。
  論文  参考訳（メタデータ） (2023-02-20T01:30:27Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Convergence of Deep Neural Networks with General Activation Functions and Pooling [5.316908050163474]
  ディープラーニングの数学的基盤を構築する上で、ディープニューラルネットワークの収束は根本的な問題である。 深部ニューラルネットワークの収束性について検討し,その深度はReLUとSigmoid関数の2つの他の活性化関数に対して無限大であることを示した。
  論文  参考訳（メタデータ） (2022-05-13T11:49:03Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Convergence of Deep ReLU Networks [2.5991265608180396]
  本稿では,ReLUアクティベーション関数を用いたディープニューラルネットワークの収束性について検討する。 我々は、ReLUネットワークの収束を、行列の無限積のクラス収束とみなす。 これらの結果は、画像分類におけるよく知られたディープ残差ネットワークの設計戦略に関する数学的洞察を与える。
  論文  参考訳（メタデータ） (2021-07-27T00:33:53Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。