論文の概要: Towards Lower Bounds on the Depth of ReLU Neural Networks
- arxiv url: http://arxiv.org/abs/2105.14835v1
- Date: Mon, 31 May 2021 09:49:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 17:25:32.474274
- Title: Towards Lower Bounds on the Depth of ReLU Neural Networks
- Title(参考訳): ReLUニューラルネットワークの深さに関する下界に向けて
- Authors: Christoph Hertrich, Amitabh Basu, Marco Di Summa, Martin Skutella
- Abstract要約: 我々は、ReLUアクティベーションと所定のアーキテクチャを持つニューラルネットワークによって表現される関数のクラスをよりよく理解するために貢献する。
より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増大するかどうかを考察する。
- 参考スコア(独自算出の注目度): 1.3955252961896318
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We contribute to a better understanding of the class of functions that is
represented by a neural network with ReLU activations and a given architecture.
Using techniques from mixed-integer optimization, polyhedral theory, and
tropical geometry, we provide a mathematical counterbalance to the universal
approximation theorems which suggest that a single hidden layer is sufficient
for learning tasks. In particular, we investigate whether the class of exactly
representable functions strictly increases by adding more layers (with no
restrictions on size). This problem has potential impact on algorithmic and
statistical aspects because of the insight it provides into the class of
functions represented by neural hypothesis classes. However, to the best of our
knowledge, this question has not been investigated in the neural network
literature. We also present upper bounds on the sizes of neural networks
required to represent functions in these neural hypothesis classes.
- Abstract(参考訳): 我々は、ReLUアクティベーションと所定のアーキテクチャを持つニューラルネットワークによって表現される関数のクラスをよりよく理解するために貢献する。
混合整数最適化、多面体理論、熱帯幾何学の手法を用いて、単一の隠れ層が学習タスクに十分であることを示す普遍近似定理の数学的逆均衡を与える。
特に,表現可能な関数のクラスが,(サイズに制限を加えることなく)より多くのレイヤを追加することによって厳密に増加するかどうかを検討する。
この問題は、ニューラル仮説クラスで表される関数のクラスにその洞察を与えるため、アルゴリズム的および統計的側面に潜在的に影響を及ぼす。
しかし、我々の知る限りでは、この問題はニューラルネットワークの文献では研究されていない。
また、これらのニューラル仮説クラスで関数を表現するのに必要なニューラルネットワークの大きさの上限も提示する。
関連論文リスト
- Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳(メタデータ) (2023-03-07T18:59:38Z) - Optimal Learning Rates of Deep Convolutional Neural Networks: Additive
Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。
付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文 参考訳(メタデータ) (2022-02-24T14:22:32Z) - A Local Geometric Interpretation of Feature Extraction in Deep
Feedforward Neural Networks [13.159994710917022]
本稿では, 深部フィードフォワードニューラルネットワークが高次元データから低次元特徴をいかに抽出するかを理解するための局所幾何学的解析法を提案する。
本研究は, 局所幾何学領域において, ニューラルネットワークの一層における最適重みと前層の最適特徴が, この層のベイズ作用によって決定される行列の低ランク近似を構成することを示す。
論文 参考訳(メタデータ) (2022-02-09T18:50:00Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳(メタデータ) (2021-11-15T22:33:52Z) - Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。
また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。
次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文 参考訳(メタデータ) (2021-08-14T05:14:13Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳(メタデータ) (2021-07-14T03:03:56Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳(メタデータ) (2021-01-31T11:32:30Z) - Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。
有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
論文 参考訳(メタデータ) (2020-06-10T02:57:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。