論文の概要: Depth Separations in Neural Networks: Separating the Dimension from the
Accuracy
- arxiv url: http://arxiv.org/abs/2402.07248v1
- Date: Sun, 11 Feb 2024 17:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 16:46:51.691989
- Title: Depth Separations in Neural Networks: Separating the Dimension from the
Accuracy
- Title（参考訳）: ニューラルネットワークにおける深さ分離:次元と精度の分離
- Authors: Itay Safran, Daniel Reichman, Paul Valiant
- Abstract要約: 我々は,$mathcalO(1)Lipschitzターゲット関数を一定精度で近似する際に,深さ2と深さ3のニューラルネットワークを指数的に分離することを証明する。
我々の下界は、様々なアクティベーション関数を持ち、最悪のランダムな自己再現性引数の応用に基づいている。
- 参考スコア（独自算出の注目度）: 10.995895410470279
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove an exponential separation between depth 2 and depth 3 neural
networks, when approximating an $\mathcal{O}(1)$-Lipschitz target function to
constant accuracy, with respect to a distribution with support in $[0,1]^{d}$,
assuming exponentially bounded weights. This addresses an open problem posed in
\citet{safran2019depth}, and proves that the curse of dimensionality manifests
in depth 2 approximation, even in cases where the target function can be
represented efficiently using depth 3. Previously, lower bounds that were used
to separate depth 2 from depth 3 required that at least one of the Lipschitz
parameter, target accuracy or (some measure of) the size of the domain of
approximation scale polynomially with the input dimension, whereas we fix the
former two and restrict our domain to the unit hypercube. Our lower bound holds
for a wide variety of activation functions, and is based on a novel application
of an average- to worst-case random self-reducibility argument, to reduce the
problem to threshold circuits lower bounds.
- Abstract（参考訳）: 我々は,$[0,1]^{d}$ をサポートする分布に対して,$\mathcal{o}(1)$-lipschitz目標関数を一定の精度で近似する場合,深さ 2 と深さ 3 のニューラルネットワーク間の指数関数的分離を証明し,指数的に有界な重みを仮定する。
これは \citet{safran2019depth} で提起されるオープン問題に対処し、対象関数が深さ 3 を用いて効率的に表現できる場合であっても、次元の呪いが深さ 2 近似で現れることを証明する。
これまで、深さ2を深さ3から分離するために用いられた下限は、リプシッツパラメータの少なくとも1つ、目標精度、または入力次元と多項式的にスケールする近似領域のサイズ(何らかの尺度)が必要であったが、前2つを固定し、我々の領域を単位ハイパーキューブに制限した。
我々の下界は、様々な活性化関数を持ち、平均から最悪のランダムな自己再現性引数の新たな応用に基づいており、その問題を閾値回路の下位境界に還元する。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Depth Separation in Norm-Bounded Infinite-Width Neural Networks [55.21840159087921]
無限幅ニューラルネットワークでは,重みの総和$ell$-normで複雑性を制御できる。
本稿では,標準制御深度3ReLUネットワークによる入力次元のサンプル複雑性を学習可能な関数が存在するが,標準制御深度2ReLUネットワークによるサブ指数サンプル複雑性では学習できないことを示す。
論文 参考訳（メタデータ） (2024-02-13T21:26:38Z) - How Many Neurons Does it Take to Approximate the Maximum? [10.995895410470279]
我々は、$d$入力以上の最大関数を近似するために必要なニューラルネットワークのサイズについて検討する。
様々な深さにまたがる近似に必要な幅について, 新たな下限と上限を提供する。
論文 参考訳（メタデータ） (2023-07-18T12:47:35Z) - The Implicit Bias of Minima Stability in Multivariate Shallow ReLU
Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。
我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文 参考訳（メタデータ） (2023-06-30T09:17:39Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Sharp asymptotics on the compression of two-layer neural networks [19.683271092724937]
我々は,Nノードを対象とする2層ニューラルネットワークを,Mノードを対象とする圧縮ネットワークに圧縮することを検討した。
最適最適化問題はEqui Tight Frame(ETF)の重み付けによって達成されると推測する。
論文 参考訳（メタデータ） (2022-05-17T09:45:23Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Sparse Uncertainty Representation in Deep Learning with Inducing Weights [22.912675044223302]
我々はMatheronの条件付きガウスサンプリングルールを拡張し、高速な重量サンプリングを可能にする。
提案手法は,完全連結ニューラルネットワークとResNetを用いた予測および不確実性推定タスクにおける最先端の競争性能を実現する。
論文 参考訳（メタデータ） (2021-05-30T18:17:47Z) - Global Convergence of Three-layer Neural Networks in the Mean Field
Regime [3.553493344868413]
平均場系では、ニューラルネットワークは適切にスケールされ、幅は無限大になる傾向にあり、学習ダイナミクスは平均場限として知られる非線形かつ非自明な動的限界に傾向がある。
最近の研究は、この分析を2層ネットワークに適用し、グローバル収束保証を提供した。
平均場における非正規化フィードフォワード三層ネットワークに対する大域収束結果を示す。
論文 参考訳（メタデータ） (2021-05-11T17:45:42Z) - Provable Memorization via Deep Neural Networks using Sub-linear
Parameters [91.0268925267129]
O(N)$パラメータはニューラルネットワークが任意の$N$入力ラベルペアを記憶するのに十分であることが知られている。
深度を利用して,$O(N2/3)$パラメータが入力点分離の軽度条件下で,$N$ペアを記憶するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-10-26T06:19:38Z) - Learning Deep ReLU Networks Is Fixed-Parameter Tractable [21.625005195943707]
ガウス入力に関して未知のReLUネットワークを学習する問題を考察する。
ランニング時間が周囲次元の固定重みとなるアルゴリズムを与える。
我々の境界は、隠れた単位数、深さ、スペクトルノルムのスペクトルノルム、リプシッツ定数に依存する。
論文 参考訳（メタデータ） (2020-09-28T17:58:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。