論文の概要: A simple geometric proof for the benefit of depth in ReLU networks

• arxiv url: http://arxiv.org/abs/2101.07126v1
• Date: Mon, 18 Jan 2021 15:40:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 11:13:46.255990
• Title: A simple geometric proof for the benefit of depth in ReLU networks
• Title（参考訳）: ReLUネットワークにおける深さの利点に関する簡単な幾何学的証明
• Authors: Asaf Amrami and Yoav Goldberg
• Abstract要約: 本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。 我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
• 参考スコア（独自算出の注目度）: 57.815699322370826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a simple proof for the benefit of depth in multi-layer feedforward network with rectified activation ("depth separation"). Specifically we present a sequence of classification problems indexed by $m$ such that (a) for any fixed depth rectified network there exist an $m$ above which classifying problem $m$ correctly requires exponential number of parameters (in $m$); and (b) for any problem in the sequence, we present a concrete neural network with linear depth (in $m$) and small constant width ($\leq 4$) that classifies the problem with zero error. The constructive proof is based on geometric arguments and a space folding construction. While stronger bounds and results exist, our proof uses substantially simpler tools and techniques, and should be accessible to undergraduate students in computer science and people with similar backgrounds.
• Abstract（参考訳）: 本稿では, 再活性化した多層フィードフォワードネットワーク(deepth separation)における深度効果の簡易な証明を提案する。 具体的には、$m$でインデックス付けされた一連の分類問題を示し、(a)任意の固定深さ整流ネットワークに対して、(a) 問題を正しく分類するには指数関数的なパラメータ数($m$)が必要となる$m$ と、(b) シーケンス中の任意の問題に対して、問題をゼロエラーで分類する、線形深さ($m$)と小さい定数幅($\leq 4$)を持つ具体的なニューラルネットワークを示す。 構成的証明は幾何学的議論と空間折り畳み構成に基づいている。 より強固な境界と結果が存在する一方で、この証明は極めて単純なツールと技術を用いており、コンピュータサイエンスの学部生や同様の背景を持つ人々にもアクセス可能であるべきである。

関連論文リスト

• Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
  我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。 また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
  本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。 幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
  論文  参考訳（メタデータ） (2024-07-04T11:34:42Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Fundamental computational limits of weak learnability in high-dimensional multi-index models [30.501140910531017]
  本稿では, 1次反復アルゴリズムを用いて低次元構造を弱めに復元するために必要な最小サンプル複雑性に着目した。 i) 自明な部分空間が任意の$alpha!>!0$; (ii) 自明な部分空間が空であれば、簡単な部分空間の存在に必要な必要十分条件を提供する。 限定的だが興味深い厳密な方向の集合において、-パリティ問題に似て-$alpha_c$が見つかる
  論文  参考訳（メタデータ） (2024-05-24T11:59:02Z)
• Rosenblatt's first theorem and frugality of deep learning [0.0]
  浅いネットワークの全零性に関するローゼンブラットの定理(英語版)は、初等パーセプトロンが訓練集合に相違がなければ任意の分類問題を解くことができることを述べる。 ミンスキーとパジェットは、神経入力に制限を課した初等パーセプトロンを、隠れた層における各ニューロンの結合数や受容野の比較的小さな直径とみなした。 このノートでは、最初のローゼンブラットの定理を実演し、初等パーセプトロンが旅行迷路問題を解く方法を示し、その解の複雑さを分析した。
  論文  参考訳（メタデータ） (2022-08-29T09:44:27Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Exploring the Common Principal Subspace of Deep Features in Neural Networks [50.37178960258464]
  我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。 具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。 異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
  論文  参考訳（メタデータ） (2021-10-06T15:48:32Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Topology of deep neural networks [8.946655323517092]
  M = M_a cup M_b subseteq mathbbRd$データセットのトポロジが、よく訓練されたニューラルネットワークの層を通過するとどのように変化するかを研究する。
  論文  参考訳（メタデータ） (2020-04-13T17:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。