論文の概要: A simple geometric proof for the benefit of depth in ReLU networks
- arxiv url: http://arxiv.org/abs/2101.07126v1
- Date: Mon, 18 Jan 2021 15:40:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 11:13:46.255990
- Title: A simple geometric proof for the benefit of depth in ReLU networks
- Title(参考訳): ReLUネットワークにおける深さの利点に関する簡単な幾何学的証明
- Authors: Asaf Amrami and Yoav Goldberg
- Abstract要約: 本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。
我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
- 参考スコア(独自算出の注目度): 57.815699322370826
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a simple proof for the benefit of depth in multi-layer feedforward
network with rectified activation ("depth separation"). Specifically we present
a sequence of classification problems indexed by $m$ such that (a) for any
fixed depth rectified network there exist an $m$ above which classifying
problem $m$ correctly requires exponential number of parameters (in $m$); and
(b) for any problem in the sequence, we present a concrete neural network with
linear depth (in $m$) and small constant width ($\leq 4$) that classifies the
problem with zero error.
The constructive proof is based on geometric arguments and a space folding
construction.
While stronger bounds and results exist, our proof uses substantially simpler
tools and techniques, and should be accessible to undergraduate students in
computer science and people with similar backgrounds.
- Abstract(参考訳): 本稿では, 再活性化した多層フィードフォワードネットワーク(deepth separation)における深度効果の簡易な証明を提案する。
具体的には、$m$でインデックス付けされた一連の分類問題を示し、(a)任意の固定深さ整流ネットワークに対して、(a) 問題を正しく分類するには指数関数的なパラメータ数($m$)が必要となる$m$ と、(b) シーケンス中の任意の問題に対して、問題をゼロエラーで分類する、線形深さ($m$)と小さい定数幅($\leq 4$)を持つ具体的なニューラルネットワークを示す。
構成的証明は幾何学的議論と空間折り畳み構成に基づいている。
より強固な境界と結果が存在する一方で、この証明は極めて単純なツールと技術を用いており、コンピュータサイエンスの学部生や同様の背景を持つ人々にもアクセス可能であるべきである。
関連論文リスト
- Understanding Deep Neural Function Approximation in Reinforcement
Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。
我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。
我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
論文 参考訳(メタデータ) (2022-09-15T15:42:47Z) - Rosenblatt's first theorem and frugality of deep learning [0.0]
浅いネットワークの全零性に関するローゼンブラットの定理(英語版)は、初等パーセプトロンが訓練集合に相違がなければ任意の分類問題を解くことができることを述べる。
ミンスキーとパジェットは、神経入力に制限を課した初等パーセプトロンを、隠れた層における各ニューロンの結合数や受容野の比較的小さな直径とみなした。
このノートでは、最初のローゼンブラットの定理を実演し、初等パーセプトロンが旅行迷路問題を解く方法を示し、その解の複雑さを分析した。
論文 参考訳(メタデータ) (2022-08-29T09:44:27Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳(メタデータ) (2021-12-17T11:47:45Z) - Path Regularization: A Convexity and Sparsity Inducing Regularization
for Parallel ReLU Networks [75.33431791218302]
本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。
我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
論文 参考訳(メタデータ) (2021-10-18T18:00:36Z) - Exploring the Common Principal Subspace of Deep Features in Neural
Networks [50.37178960258464]
我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。
具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。
異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
論文 参考訳(メタデータ) (2021-10-06T15:48:32Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Neural Networks with Small Weights and Depth-Separation Barriers [40.66211670342284]
一定の深さでは、既存の結果が2ドルと3ドルに制限され、より深い深さで結果を達成することが重要な問題となっている。
我々はフィードフォワードのReLUネットワークに注力し、その効果を4ドル以上の金額で証明する上での基本的な障壁を証明している。
論文 参考訳(メタデータ) (2020-05-31T21:56:17Z) - Topology of deep neural networks [8.946655323517092]
M = M_a cup M_b subseteq mathbbRd$データセットのトポロジが、よく訓練されたニューラルネットワークの層を通過するとどのように変化するかを研究する。
論文 参考訳(メタデータ) (2020-04-13T17:53:36Z) - Global Convergence of Deep Networks with One Wide Layer Followed by
Pyramidal Topology [28.49901662584467]
深層ネットワークの場合、入力層に従えば1層$N$の幅が確保され、同様の保証が保証される。
残りの層は全て一定の幅を持つことができ、ピラミッドの位相を形成する。
論文 参考訳(メタデータ) (2020-02-18T20:21:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。