論文の概要: Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice
Polytopes
- arxiv url: http://arxiv.org/abs/2302.12553v1
- Date: Fri, 24 Feb 2023 10:14:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-27 13:54:53.656187
- Title: Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice
Polytopes
- Title(参考訳): 格子ポリトープを用いた積分ReLUニューラルネットワークの深さに関する下界
- Authors: Christian Haase, Christoph Hertrich, Georg Loho
- Abstract要約: 我々は、$lceillog_(n)rceil$ hidden layerが$n$の最大値を計算するために本当に必要であることを示す。
この結果は、ニューラルネットワークと熱帯の幾何学によるニュートンポリトープの双対性に基づいている。
- 参考スコア(独自算出の注目度): 3.0079490585515343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove that the set of functions representable by ReLU neural networks with
integer weights strictly increases with the network depth while allowing
arbitrary width. More precisely, we show that $\lceil\log_2(n)\rceil$ hidden
layers are indeed necessary to compute the maximum of $n$ numbers, matching
known upper bounds. Our results are based on the known duality between neural
networks and Newton polytopes via tropical geometry. The integrality assumption
implies that these Newton polytopes are lattice polytopes. Then, our depth
lower bounds follow from a parity argument on the normalized volume of faces of
such polytopes.
- Abstract(参考訳): 整数重みを持つReLUニューラルネットワークで表現可能な関数の集合は、任意の幅を許容しながら、ネットワーク深さとともに厳密に増加する。
より正確には、$\lceil\log_2(n)\rceil$ hidden layer は、既知の上限値に一致する最大$n$ を計算するために必要である。
この結果は、ニューラルネットワークと熱帯幾何学によるニュートンポリトープの双対性に基づいている。
積分性仮定は、これらのニュートンポリトープが格子ポリトープであることを意味する。
すると、そのようなポリトープの顔の正規化体積のパリティ引数から、我々の深度下界が従う。
関連論文リスト
- Sample Complexity of Neural Policy Mirror Descent for Policy
Optimization on Low-Dimensional Manifolds [75.51968172401394]
深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。
NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。
NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
論文 参考訳(メタデータ) (2023-09-25T07:31:22Z) - How Many Neurons Does it Take to Approximate the Maximum? [10.995895410470279]
我々は、$d$入力以上の最大関数を近似するために必要なニューラルネットワークのサイズについて検討する。
様々な深さにまたがる近似に必要な幅について, 新たな下限と上限を提供する。
論文 参考訳(メタデータ) (2023-07-18T12:47:35Z) - Neural Polytopes [0.0]
ReLUを活性化した単純なニューラルネットワークは、様々な次元の単位球の近似としてポリトープを生成する。
様々な活性化関数に対して、ニューラルポリトープと呼ばれるポリトープの一般化が得られる。
論文 参考訳(メタデータ) (2023-07-03T03:00:22Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳(メタデータ) (2023-05-25T14:17:15Z) - Deep ReLU Networks Have Surprisingly Simple Polytopes [30.417072051872726]
ReLUネットワークはポリトープ上の一括線形関数である。
ポリトープの形状をポリトープの顔数を用いて検討する。
ポリトープの形状を特徴付けることで、他の問題に対する新たなレバレッジとなり得る。
論文 参考訳(メタデータ) (2023-05-16T03:51:34Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。
We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。
対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
論文 参考訳(メタデータ) (2021-05-31T09:49:14Z) - Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for
Deep ReLU Networks [21.13299067136635]
深部ReLUネットワークに対するNTK行列の最小固有値に厳密な境界を与える。
有限幅設定では、我々が考えるネットワークアーキテクチャは非常に一般的である。
論文 参考訳(メタデータ) (2020-12-21T19:32:17Z) - Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。
そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。
我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文 参考訳(メタデータ) (2020-07-11T22:10:52Z) - Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。
正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。
ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文 参考訳(メタデータ) (2020-02-22T21:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。