論文の概要: Depth Separations in Neural Networks: Separating the Dimension from the
Accuracy
- arxiv url: http://arxiv.org/abs/2402.07248v1
- Date: Sun, 11 Feb 2024 17:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 16:46:51.691989
- Title: Depth Separations in Neural Networks: Separating the Dimension from the
Accuracy
- Title(参考訳): ニューラルネットワークにおける深さ分離:次元と精度の分離
- Authors: Itay Safran, Daniel Reichman, Paul Valiant
- Abstract要約: 我々は,$mathcalO(1)Lipschitzターゲット関数を一定精度で近似する際に,深さ2と深さ3のニューラルネットワークを指数的に分離することを証明する。
我々の下界は、様々なアクティベーション関数を持ち、最悪のランダムな自己再現性引数の応用に基づいている。
- 参考スコア(独自算出の注目度): 10.995895410470279
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove an exponential separation between depth 2 and depth 3 neural
networks, when approximating an $\mathcal{O}(1)$-Lipschitz target function to
constant accuracy, with respect to a distribution with support in $[0,1]^{d}$,
assuming exponentially bounded weights. This addresses an open problem posed in
\citet{safran2019depth}, and proves that the curse of dimensionality manifests
in depth 2 approximation, even in cases where the target function can be
represented efficiently using depth 3. Previously, lower bounds that were used
to separate depth 2 from depth 3 required that at least one of the Lipschitz
parameter, target accuracy or (some measure of) the size of the domain of
approximation scale polynomially with the input dimension, whereas we fix the
former two and restrict our domain to the unit hypercube. Our lower bound holds
for a wide variety of activation functions, and is based on a novel application
of an average- to worst-case random self-reducibility argument, to reduce the
problem to threshold circuits lower bounds.
- Abstract(参考訳): 我々は,$[0,1]^{d}$ をサポートする分布に対して,$\mathcal{o}(1)$-lipschitz目標関数を一定の精度で近似する場合,深さ 2 と深さ 3 のニューラルネットワーク間の指数関数的分離を証明し,指数的に有界な重みを仮定する。
これは \citet{safran2019depth} で提起されるオープン問題に対処し、対象関数が深さ 3 を用いて効率的に表現できる場合であっても、次元の呪いが深さ 2 近似で現れることを証明する。
これまで、深さ2を深さ3から分離するために用いられた下限は、リプシッツパラメータの少なくとも1つ、目標精度、または入力次元と多項式的にスケールする近似領域のサイズ(何らかの尺度)が必要であったが、前2つを固定し、我々の領域を単位ハイパーキューブに制限した。
我々の下界は、様々な活性化関数を持ち、平均から最悪のランダムな自己再現性引数の新たな応用に基づいており、その問題を閾値回路の下位境界に還元する。
関連論文リスト
- NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth
Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。
セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。
結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-02-22T11:48:06Z) - Solving multiscale elliptic problems by sparse radial basis function
neural networks [3.5297361401370044]
楕円偏微分方程式 (PDE) を多スケール係数で解くために, スパースラジアル基底関数ニューラルネットワーク法を提案する。
深層混合残差法に着想を得て,2次問題を1次システムに書き換え,複数の放射基底関数ニューラルネットワーク(RBFNN)を用いて未知の関数を近似する。
提案手法の精度と有効性は,1次元から3次元までのスケール分離,不連続性,複数スケールのマルチスケール問題の集合を通して実証される。
論文 参考訳(メタデータ) (2023-09-01T15:11:34Z) - How Many Neurons Does it Take to Approximate the Maximum? [10.995895410470279]
我々は、$d$入力以上の最大関数を近似するために必要なニューラルネットワークのサイズについて検討する。
様々な深さにまたがる近似に必要な幅について, 新たな下限と上限を提供する。
論文 参考訳(メタデータ) (2023-07-18T12:47:35Z) - The Implicit Bias of Minima Stability in Multivariate Shallow ReLU
Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。
我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文 参考訳(メタデータ) (2023-06-30T09:17:39Z) - Detecting Rotated Objects as Gaussian Distributions and Its 3-D
Generalization [81.29406957201458]
既存の検出方法は、パラメータ化バウンディングボックス(BBox)を使用して(水平)オブジェクトをモデル化し、検出する。
このような機構は回転検出に有効な回帰損失を構築するのに基本的な限界があると主張する。
回転した物体をガウス分布としてモデル化することを提案する。
2次元から3次元へのアプローチを、方向推定を扱うアルゴリズム設計により拡張する。
論文 参考訳(メタデータ) (2022-09-22T07:50:48Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - Sample Complexity of Nonparametric Off-Policy Evaluation on
Low-Dimensional Manifolds using Deep Networks [71.95722100511627]
深層ニューラルネットワークを用いた強化学習における非政治的評価問題について考察する。
ネットワークサイズを適切に選択することにより、マルコフ決定過程において低次元多様体構造を利用することができることを示す。
論文 参考訳(メタデータ) (2022-06-06T20:25:20Z) - Sharp asymptotics on the compression of two-layer neural networks [19.683271092724937]
我々は,Nノードを対象とする2層ニューラルネットワークを,Mノードを対象とする圧縮ネットワークに圧縮することを検討した。
最適最適化問題はEqui Tight Frame(ETF)の重み付けによって達成されると推測する。
論文 参考訳(メタデータ) (2022-05-17T09:45:23Z) - Global Convergence of Three-layer Neural Networks in the Mean Field
Regime [3.553493344868413]
平均場系では、ニューラルネットワークは適切にスケールされ、幅は無限大になる傾向にあり、学習ダイナミクスは平均場限として知られる非線形かつ非自明な動的限界に傾向がある。
最近の研究は、この分析を2層ネットワークに適用し、グローバル収束保証を提供した。
平均場における非正規化フィードフォワード三層ネットワークに対する大域収束結果を示す。
論文 参考訳(メタデータ) (2021-05-11T17:45:42Z) - Learning Deep ReLU Networks Is Fixed-Parameter Tractable [21.625005195943707]
ガウス入力に関して未知のReLUネットワークを学習する問題を考察する。
ランニング時間が周囲次元の固定重みとなるアルゴリズムを与える。
我々の境界は、隠れた単位数、深さ、スペクトルノルムのスペクトルノルム、リプシッツ定数に依存する。
論文 参考訳(メタデータ) (2020-09-28T17:58:43Z) - Wasserstein Distances for Stereo Disparity Estimation [62.09272563885437]
既定義の離散値の集合上の分布を出力する、奥行き推定や不均一推定への既存のアプローチ。
これにより、真の深さや差がこれらの値と一致しない場合に、不正確な結果をもたらす。
任意の深さの値を出力できる新しいニューラルネットワークアーキテクチャを用いて、これらの問題に対処する。
論文 参考訳(メタデータ) (2020-07-06T21:37:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。