論文の概要: Convergence Analysis of Deep Residual Networks
- arxiv url: http://arxiv.org/abs/2205.06571v1
- Date: Fri, 13 May 2022 11:53:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-16 13:10:24.340142
- Title: Convergence Analysis of Deep Residual Networks
- Title（参考訳）: 深層残留ネットワークの収束解析
- Authors: Wentao Huang and Haizhang Zhang
- Abstract要約: ディープ・Residual Networks (ResNets) は、コンピュータビジョンにおいて非常に有用であることを示すため、特に重要である。
本研究では,ディープResNetの収束度を,ネットワークのパラメータの観点から無限大の傾向にあるとして特徴付けることを目的とする。
- 参考スコア（独自算出の注目度）: 3.274290296343038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Various powerful deep neural network architectures have made great
contribution to the exciting successes of deep learning in the past two
decades. Among them, deep Residual Networks (ResNets) are of particular
importance because they demonstrated great usefulness in computer vision by
winning the first place in many deep learning competitions. Also, ResNets were
the first class of neural networks in the development history of deep learning
that are really deep. It is of mathematical interest and practical meaning to
understand the convergence of deep ResNets. We aim at characterizing the
convergence of deep ResNets as the depth tends to infinity in terms of the
parameters of the networks. Toward this purpose, we first give a matrix-vector
description of general deep neural networks with shortcut connections and
formulate an explicit expression for the networks by using the notions of
activation domains and activation matrices. The convergence is then reduced to
the convergence of two series involving infinite products of non-square
matrices. By studying the two series, we establish a sufficient condition for
pointwise convergence of ResNets. Our result is able to give justification for
the design of ResNets. We also conduct experiments on benchmark machine
learning data to verify our results.
- Abstract（参考訳）: さまざまな強力なディープニューラルネットワークアーキテクチャは、過去20年におけるディープラーニングのエキサイティングな成功に大きな貢献をした。
中でもDeep Residual Networks(ResNets)は,多くのディープラーニングコンペで優勝し,コンピュータビジョンにおいて大きな有用性を示したことから,特に重要である。
また、ResNetsは、ディープラーニングの発展史において、非常に深いニューラルネットワークの最初のクラスだった。
深い再ネットの収束を理解することは数学的に興味深く、実際的な意味である。
本研究では,ディープResNetの収束度を,ネットワークのパラメータの観点から無限大の傾向を示す。
この目的に向けて,まず,近距離接続を用いた一般深層ニューラルネットワークのマトリックス・ベクトル記述と,アクティベーションドメインとアクティベーション行列の概念を用いてネットワークの明示的な表現を定式化する。
収束は、非平方行列の無限積を含む2つの級数の収束に還元される。
2つの級数の研究により、resnetsのポイントワイズ収束の十分条件が確立される。
我々の結果はResNetsの設計を正当化することができる。
また、機械学習データをベンチマークして結果を検証する実験も行います。
関連論文リスト
- Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳（メタデータ） (2023-10-16T02:12:32Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Convergence of Deep Neural Networks with General Activation Functions
and Pooling [5.316908050163474]
ディープラーニングの数学的基盤を構築する上で、ディープニューラルネットワークの収束は根本的な問題である。
深部ニューラルネットワークの収束性について検討し,その深度はReLUとSigmoid関数の2つの他の活性化関数に対して無限大であることを示した。
論文 参考訳（メタデータ） (2022-05-13T11:49:03Z) - Convergence of Deep Convolutional Neural Networks [2.5991265608180396]
ネットワークの深さが無限大になる傾向にあるディープニューラルネットワークの収束は、ディープラーニングの数学的基礎を構築するのに不可欠である。
まず,幅を拡大した一般ReLUネットワークの収束について検討し,得られた結果を深部畳み込みニューラルネットワークに適用する。
論文 参考訳（メタデータ） (2021-09-28T07:48:17Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Doubly infinite residual neural networks: a diffusion process approach [8.642603456626393]
ディープResNetは望ましくないフォワードプロパゲーション特性に悩まされないことを示す。
我々は2つの無限完全接続 ResNet に焦点を当て、i.i.d を考える。
我々の結果は、未スケールのネットワークのパラメータが i.d. であり、残余ブロックが浅い場合、ResNetの2倍の表現力に制限があることを示している。
論文 参考訳（メタデータ） (2020-07-07T07:45:34Z) - Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。
De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。
以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
論文 参考訳（メタデータ） (2020-02-06T21:17:32Z) - On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。
その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。
しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文 参考訳（メタデータ） (2020-01-28T16:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。