Fugu-MT 論文翻訳(概要): Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice Polytopes

論文の概要: Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice Polytopes

arxiv url: http://arxiv.org/abs/2302.12553v1
Date: Fri, 24 Feb 2023 10:14:53 GMT
ステータス: 処理完了
システム内更新日: 2023-02-27 13:54:53.656187
Title: Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice Polytopes
Title（参考訳）: 格子ポリトープを用いた積分ReLUニューラルネットワークの深さに関する下界
Authors: Christian Haase, Christoph Hertrich, Georg Loho
Abstract要約: 我々は、$lceillog_(n)rceil$ hidden layerが$n$の最大値を計算するために本当に必要であることを示す。この結果は、ニューラルネットワークと熱帯の幾何学によるニュートンポリトープの双対性に基づいている。
参考スコア（独自算出の注目度）: 3.0079490585515343
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We prove that the set of functions representable by ReLU neural networks with integer weights strictly increases with the network depth while allowing arbitrary width. More precisely, we show that $\lceil\log_2(n)\rceil$ hidden layers are indeed necessary to compute the maximum of $n$ numbers, matching known upper bounds. Our results are based on the known duality between neural networks and Newton polytopes via tropical geometry. The integrality assumption implies that these Newton polytopes are lattice polytopes. Then, our depth lower bounds follow from a parity argument on the normalized volume of faces of such polytopes.
Abstract（参考訳）: 整数重みを持つReLUニューラルネットワークで表現可能な関数の集合は、任意の幅を許容しながら、ネットワーク深さとともに厳密に増加する。より正確には、$\lceil\log_2(n)\rceil$ hidden layer は、既知の上限値に一致する最大$n$ を計算するために必要である。この結果は、ニューラルネットワークと熱帯幾何学によるニュートンポリトープの双対性に基づいている。積分性仮定は、これらのニュートンポリトープが格子ポリトープであることを意味する。すると、そのようなポリトープの顔の正規化体積のパリティ引数から、我々の深度下界が従う。

関連論文リスト

Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
論文参考訳（メタデータ） (2023-09-25T07:31:22Z)
How Many Neurons Does it Take to Approximate the Maximum? [10.995895410470279]
我々は、$d$入力以上の最大関数を近似するために必要なニューラルネットワークのサイズについて検討する。様々な深さにまたがる近似に必要な幅について, 新たな下限と上限を提供する。
論文参考訳（メタデータ） (2023-07-18T12:47:35Z)
Neural Polytopes [0.0]
ReLUを活性化した単純なニューラルネットワークは、様々な次元の単位球の近似としてポリトープを生成する。様々な活性化関数に対して、ニューラルポリトープと呼ばれるポリトープの一般化が得られる。
論文参考訳（メタデータ） (2023-07-03T03:00:22Z)
Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文参考訳（メタデータ） (2023-05-25T14:17:15Z)
Deep ReLU Networks Have Surprisingly Simple Polytopes [30.417072051872726]
ReLUネットワークはポリトープ上の一括線形関数である。ポリトープの形状をポリトープの顔数を用いて検討する。ポリトープの形状を特徴付けることで、他の問題に対する新たなレバレッジとなり得る。
論文参考訳（メタデータ） (2023-05-16T03:51:34Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。 We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
論文参考訳（メタデータ） (2021-05-31T09:49:14Z)
Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks [21.13299067136635]
深部ReLUネットワークに対するNTK行列の最小固有値に厳密な境界を与える。有限幅設定では、我々が考えるネットワークアーキテクチャは非常に一般的である。
論文参考訳（メタデータ） (2020-12-21T19:32:17Z)
Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文参考訳（メタデータ） (2020-07-11T22:10:52Z)
Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。