論文の概要: Quasi-Equivalence of Width and Depth of Neural Networks

• arxiv url: http://arxiv.org/abs/2002.02515v7
• Date: Tue, 24 May 2022 01:21:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 09:51:39.345062
• Title: Quasi-Equivalence of Width and Depth of Neural Networks
• Title（参考訳）: ニューラルネットワークの幅と深さの準等価性
• Authors: Feng-Lei Fan, Rongjie Lai, Ge Wang
• Abstract要約: 人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。 De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。 以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
• 参考スコア（独自算出の注目度）: 10.365556153676538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While classic studies proved that wide networks allow universal approximation, recent research and successes of deep learning demonstrate the power of deep networks. Based on a symmetric consideration, we investigate if the design of artificial neural networks should have a directional preference, and what the mechanism of interaction is between the width and depth of a network. Inspired by the De Morgan law, we address this fundamental question by establishing a quasi-equivalence between the width and depth of ReLU networks in two aspects. First, we formulate two transforms for mapping an arbitrary ReLU network to a wide network and a deep network respectively for either regression or classification so that the essentially same capability of the original network can be implemented. Then, we replace the mainstream artificial neuron type with a quadratic counterpart, and utilize the factorization and continued fraction representations of the same polynomial function to construct a wide network and a deep network, respectively. Based on our findings, a deep network has a wide equivalent, and vice versa, subject to an arbitrarily small error.
• Abstract（参考訳）: 古典的な研究は、広帯域ネットワークは普遍的な近似を可能にすることを示したが、近年のディープラーニングの研究と成功はディープネットワークの力を示している。 対称的考察に基づき,ニューラルネットワークの設計は方向選好を持つべきかどうか,ネットワークの幅と深さとの間の相互作用のメカニズムについて検討する。 De Morgan法に触発されて、ReLUネットワークの幅と深さの準等価性を2つの側面で確立することで、この根本的な問題に対処する。 まず、任意のReLUネットワークを広帯域ネットワークと深帯域ネットワークにそれぞれマッピングするための2つの変換を定式化し、元のネットワークの本質的に同じ機能を実装できるようにした。 そこで,本研究では,主要な人工ニューロンを二次的に置き換え,同じ多項式関数の因子化と連続分数表現を用いて,広帯域ネットワークと深層ネットワークを構築する。 以上の結果から,深層ネットワークは広範に等価であり,その逆も任意に小さい誤差を受ける。

関連論文リスト

• Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [62.41329042683779]
  本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。 本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-25T11:53:06Z)
• The Evolution of the Interplay Between Input Distributions and Linear Regions in Networks [20.97553518108504]
  ReLUに基づくディープニューラルネットワークにおける線形凸領域の数をカウントする。 特に、任意の1次元入力に対して、それを表現するのに必要となるニューロンの数に対して最小限の閾値が存在することを証明している。 また、トレーニング中のReLUネットワークにおける決定境界の反復的改善プロセスも明らかにした。
  論文  参考訳（メタデータ） (2023-10-28T15:04:53Z)
• Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
  独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。 これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。 行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
  論文  参考訳（メタデータ） (2023-10-11T18:00:02Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Width is Less Important than Depth in ReLU Neural Networks [40.83290846983707]
  我々は,$mathbbRd$の入力を持つ任意のターゲットネットワークを,幅$O(d)$ネットワークで近似できることを示す。 結果は、有界重み付きネットワークの構築や、最大で$d+2$の幅を持つネットワークの構築に拡張される。
  論文  参考訳（メタデータ） (2022-02-08T13:07:22Z)
• Towards Understanding Theoretical Advantages of Complex-Reaction Networks [77.34726150561087]
  パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。 経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
  論文  参考訳（メタデータ） (2021-08-15T10:13:49Z)
• Adversarial Examples in Multi-Layer Random ReLU Networks [39.797621513256026]
  逆例は独立したガウスパラメータを持つReLUネットワークに現れる。 ネットワーク内のボトルネック層は重要な役割を担っている。ある時点までの最小の幅は、その時点まで計算されたマッピングのスケールと感度を決定する。
  論文  参考訳（メタデータ） (2021-06-23T18:16:34Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
  完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。 本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。 いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
  論文  参考訳（メタデータ） (2020-08-07T10:39:11Z)
• A Rigorous Framework for the Mean Field Limit of Multilayer Neural Networks [9.89901717499058]
  ニューラルネットワークを平均場に埋め込むための数学的に厳密なフレームワークを開発する。 ネットワークの幅が大きくなるにつれて、ネットワークの学習軌道は制限によってうまく捉えられることが示される。 我々は、大幅多層ネットワークのいくつかの特性を証明した。
  論文  参考訳（メタデータ） (2020-01-30T16:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。