論文の概要: Rethink Depth Separation with Intra-layer Links
- arxiv url: http://arxiv.org/abs/2305.07037v1
- Date: Thu, 11 May 2023 11:54:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-15 15:05:58.632477
- Title: Rethink Depth Separation with Intra-layer Links
- Title（参考訳）: 層内リンクによる深度分離の再考
- Authors: Feng-Lei Fan, Ze-Yu Li, Huan Xiong, Tieyong Zeng
- Abstract要約: 距離分離理論をショートカットの文脈で研究する。
層内リンクを持つ浅層ネットワークは、深層ネットワークによって構築されたハード関数を表現するために、以前ほど広い範囲を行き来する必要はないことを示す。
本結果は,ショートカット領域における限界を検証することによって,既存の深さ分離理論を補完するものである。
- 参考スコア（独自算出の注目度）: 23.867032824891723
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The depth separation theory is nowadays widely accepted as an effective
explanation for the power of depth, which consists of two parts: i) there
exists a function representable by a deep network; ii) such a function cannot
be represented by a shallow network whose width is lower than a threshold.
However, this theory is established for feedforward networks. Few studies, if
not none, considered the depth separation theory in the context of shortcuts
which are the most common network types in solving real-world problems. Here,
we find that adding intra-layer links can modify the depth separation theory.
First, we report that adding intra-layer links can greatly improve a network's
representation capability through bound estimation, explicit construction, and
functional space analysis. Then, we modify the depth separation theory by
showing that a shallow network with intra-layer links does not need to go as
wide as before to express some hard functions constructed by a deep network.
Such functions include the renowned "sawtooth" functions. Moreover, the saving
of width is up to linear. Our results supplement the existing depth separation
theory by examining its limit in the shortcut domain. Also, the mechanism we
identify can be translated into analyzing the expressivity of popular shortcut
networks such as ResNet and DenseNet, \textit{e.g.}, residual connections
empower a network to represent a sawtooth function efficiently.
- Abstract（参考訳）: 深度分離理論は、現在、深さの力の有効な説明として広く受け入れられており、2つの部分からなる。
一 深層ネットワークで表現可能な機能があること。
二 この関数は、幅が閾値より低い浅いネットワークで表すことができない。
しかし、この理論はフィードフォワードネットワークで確立されている。
現実世界の問題を解決する上で最も一般的なネットワークタイプであるショートカットの文脈で、深さ分離理論を考察する研究はほとんどない。
ここでは層内リンクを付加することで深さ分離理論を変更できることを見いだす。
まず,層内リンクの追加により,境界推定,明示的構成,関数空間解析により,ネットワークの表現能力が大幅に向上することを示す。
そこで, 層内リンクを持つ浅層ネットワークが, 深層ネットワークによって構築されたハード関数を表現するために, 従来よりも幅を広くする必要がないことを示すことにより, 深さ分離理論を変更する。
そのような関数には有名な "sawtooth" 関数が含まれる。
また、幅の節約は線形となる。
本研究は,近距離領域におけるその限界を調べることにより,既存の深さ分離理論を補足する。
また,ResNet や DenseNet, \textit{e.g.} などの一般的なショートカットネットワークの表現性を解析し,残余接続により,ソートゥース関数を効率的に表現することができる。
関連論文リスト
- Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。
無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。
この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文 参考訳（メタデータ） (2024-05-27T18:15:05Z) - Network Degeneracy as an Indicator of Training Performance: Comparing
Finite and Infinite Width Angle Predictions [3.04585143845864]
ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。
完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
論文 参考訳（メタデータ） (2023-06-02T13:02:52Z) - Depth Separation with Multilayer Mean-Field Networks [14.01059700772468]
arXiv:1904.06984は3層ネットワークで近似できるが,任意の2層ネットワークでは近似できない関数を構築した。
この結果は、平均フィールド制限を多層ネットワークに拡張する新しい方法に依拠している。
論文 参考訳（メタデータ） (2023-04-03T15:18:16Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Identifying Class Specific Filters with L1 Norm Frequency Histograms in
Deep CNNs [1.1278903078792917]
我々はDeep Convolutional Networksの最終層と最後層を分析した。
クラスに対するネットワークの決定に最も寄与する機能のサブセットを特定します。
論文 参考訳（メタデータ） (2021-12-14T19:40:55Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Recursive Multi-model Complementary Deep Fusion forRobust Salient Object
Detection via Parallel Sub Networks [62.26677215668959]
完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。
本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。
いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
論文 参考訳（メタデータ） (2020-08-07T10:39:11Z) - Doubly infinite residual neural networks: a diffusion process approach [8.642603456626393]
ディープResNetは望ましくないフォワードプロパゲーション特性に悩まされないことを示す。
我々は2つの無限完全接続 ResNet に焦点を当て、i.i.d を考える。
我々の結果は、未スケールのネットワークのパラメータが i.d. であり、残余ブロックが浅い場合、ResNetの2倍の表現力に制限があることを示している。
論文 参考訳（メタデータ） (2020-07-07T07:45:34Z) - Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。
De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。
以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
論文 参考訳（メタデータ） (2020-02-06T21:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。