Fugu-MT 論文翻訳(概要): Convergence of Deep ReLU Networks

論文の概要: Convergence of Deep ReLU Networks

arxiv url: http://arxiv.org/abs/2107.12530v1
Date: Tue, 27 Jul 2021 00:33:53 GMT
ステータス: 処理完了
システム内更新日: 2021-07-28 14:30:49.157426
Title: Convergence of Deep ReLU Networks
Title（参考訳）: 深部ReLUネットワークの収束性
Authors: Yuesheng Xu and Haizhang Zhang
Abstract要約: 本稿では,ReLUアクティベーション関数を用いたディープニューラルネットワークの収束性について検討する。我々は、ReLUネットワークの収束を、行列の無限積のクラス収束とみなす。これらの結果は、画像分類におけるよく知られたディープ残差ネットワークの設計戦略に関する数学的洞察を与える。
参考スコア（独自算出の注目度）: 2.5991265608180396
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We explore convergence of deep neural networks with the popular ReLU activation function, as the depth of the networks tends to infinity. To this end, we introduce the notion of activation domains and activation matrices of a ReLU network. By replacing applications of the ReLU activation function by multiplications with activation matrices on activation domains, we obtain an explicit expression of the ReLU network. We then identify the convergence of the ReLU networks as convergence of a class of infinite products of matrices. Sufficient and necessary conditions for convergence of these infinite products of matrices are studied. As a result, we establish necessary conditions for ReLU networks to converge that the sequence of weight matrices converges to the identity matrix and the sequence of the bias vectors converges to zero as the depth of ReLU networks increases to infinity. Moreover, we obtain sufficient conditions in terms of the weight matrices and bias vectors at hidden layers for pointwise convergence of deep ReLU networks. These results provide mathematical insights to the design strategy of the well-known deep residual networks in image classification.
Abstract（参考訳）: ネットワークの深度が無限大になる傾向にあるため,ReLUアクティベーション関数を用いたディープニューラルネットワークの収束について検討する。そこで,本稿では,reluネットワークの活性化ドメインと活性化行列の概念を紹介する。アクティベーション領域上でのアクティベーション行列との乗算により、ReLUアクティベーション関数の適用を置き換えることで、ReLUネットワークの明示的な表現を得る。次に、ReLUネットワークの収束を、行列の無限積のクラス収束とみなす。これらの行列の無限積の収束に十分かつ必要な条件について研究する。その結果、重み行列の列が恒等行列に収束し、バイアスベクトルの列が零に収束し、reluネットワークの深さが無限大に増加するために、reluネットワークが収束するために必要な条件が確立される。さらに,隠れ層における重み行列とバイアスベクトルの観点から,深いReLUネットワークの点収束に十分な条件を得る。これらの結果は、画像分類におけるよく知られたディープ残差ネットワークの設計戦略に関する数学的洞察を与える。

関連論文リスト

Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
2層から有限層まで線形に活性化するニューラルネットワークについて検討する。まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
論文参考訳（メタデータ） (2024-03-02T00:33:45Z)
Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths [3.0069322256338906]
リプシッツ連続活性化関数と可変幅の重み行列を持つディープニューラルネットワークを考える。特に、畳み込みニューラルネットワークは、幅が増大する重み行列を持つ特殊なディープニューラルネットワークであるため、マスクシーケンスに条件を提示する。活性化関数上のリプシッツ連続性仮定は、アプリケーションでよく使われる活性化関数のほとんどを我々の理論に含めることができる。
論文参考訳（メタデータ） (2023-06-02T17:07:12Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Convergence Analysis of Deep Residual Networks [3.274290296343038]
ディープ・Residual Networks (ResNets) は、コンピュータビジョンにおいて非常に有用であることを示すため、特に重要である。本研究では,ディープResNetの収束度を,ネットワークのパラメータの観点から無限大の傾向にあるとして特徴付けることを目的とする。
論文参考訳（メタデータ） (2022-05-13T11:53:09Z)
Convergence of Deep Neural Networks with General Activation Functions and Pooling [5.316908050163474]
ディープラーニングの数学的基盤を構築する上で、ディープニューラルネットワークの収束は根本的な問題である。深部ニューラルネットワークの収束性について検討し,その深度はReLUとSigmoid関数の2つの他の活性化関数に対して無限大であることを示した。
論文参考訳（メタデータ） (2022-05-13T11:49:03Z)
Convergence of Deep Convolutional Neural Networks [2.5991265608180396]
ネットワークの深さが無限大になる傾向にあるディープニューラルネットワークの収束は、ディープラーニングの数学的基礎を構築するのに不可欠である。まず,幅を拡大した一般ReLUネットワークの収束について検討し,得られた結果を深部畳み込みニューラルネットワークに適用する。
論文参考訳（メタデータ） (2021-09-28T07:48:17Z)
When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations? [51.1848572349154]
固定幅深層ネットワークに適用された勾配勾配がロジスティック損失をゼロにする条件を確立する。解析はSwishやHuberized ReLUといったReLUのスムーズな近似に適用する。
論文参考訳（メタデータ） (2021-02-09T18:04:37Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
論文参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。