論文の概要: Neural Networks with Small Weights and Depth-Separation Barriers

• arxiv url: http://arxiv.org/abs/2006.00625v4
• Date: Sun, 27 Dec 2020 20:33:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 12:42:47.605229
• Title: Neural Networks with Small Weights and Depth-Separation Barriers
• Title（参考訳）: 小さな重みと深さ分離障壁を持つニューラルネットワーク
• Authors: Gal Vardi and Ohad Shamir
• Abstract要約: 一定の深さでは、既存の結果が2ドルと3ドルに制限され、より深い深さで結果を達成することが重要な問題となっている。 我々はフィードフォワードのReLUネットワークに注力し、その効果を4ドル以上の金額で証明する上での基本的な障壁を証明している。
• 参考スコア（独自算出の注目度）: 40.66211670342284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In studying the expressiveness of neural networks, an important question is whether there are functions which can only be approximated by sufficiently deep networks, assuming their size is bounded. However, for constant depths, existing results are limited to depths $2$ and $3$, and achieving results for higher depths has been an important open question. In this paper, we focus on feedforward ReLU networks, and prove fundamental barriers to proving such results beyond depth $4$, by reduction to open problems and natural-proof barriers in circuit complexity. To show this, we study a seemingly unrelated problem of independent interest: Namely, whether there are polynomially-bounded functions which require super-polynomial weights in order to approximate with constant-depth neural networks. We provide a negative and constructive answer to that question, by showing that if a function can be approximated by a polynomially-sized, constant depth $k$ network with arbitrarily large weights, it can also be approximated by a polynomially-sized, depth $3k+3$ network, whose weights are polynomially bounded.
• Abstract（参考訳）: ニューラルネットワークの表現性の研究において重要な疑問は、そのサイズが有界であると仮定して、十分に深いネットワークによってのみ近似できる関数が存在するかどうかである。 しかし、一定の深さでは、既存の結果が2ドルと3ドルに制限され、より深い深さで結果を達成することは重要なオープンな問題である。 本稿では,feedforward reluネットワークに着目し,回路の複雑度におけるオープン問題と自然防御障壁の低減により,奥行き4ドルを超える結果を証明するための基本的な障壁を実証する。 そこで本研究では,超多項重みを必要とする多項式境界関数が存在するかどうかを,定数深層ニューラルネットワークを用いて近似するために検討する。 この質問に対する否定的かつ構成的な答えは、ある関数が任意に重みを持つ多項式の大きさの定数深さ$k$ネットワークで近似できるならば、多項式の大きさの深さ$3k+3$ネットワークで近似でき、その重みは多項式に有界であることを示している。

関連論文リスト

• Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
  機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。 いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
  論文  参考訳（メタデータ） (2024-02-21T18:35:27Z)
• Depth Separation in Norm-Bounded Infinite-Width Neural Networks [55.21840159087921]
  無限幅ニューラルネットワークでは,重みの総和$ell$-normで複雑性を制御できる。 本稿では,標準制御深度3ReLUネットワークによる入力次元のサンプル複雑性を学習可能な関数が存在するが,標準制御深度2ReLUネットワークによるサブ指数サンプル複雑性では学習できないことを示す。
  論文  参考訳（メタデータ） (2024-02-13T21:26:38Z)
• Depth Separation with Multilayer Mean-Field Networks [14.01059700772468]
  arXiv:1904.06984は3層ネットワークで近似できるが,任意の2層ネットワークでは近似できない関数を構築した。 この結果は、平均フィールド制限を多層ネットワークに拡張する新しい方法に依拠している。
  論文  参考訳（メタデータ） (2023-04-03T15:18:16Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Rosenblatt's first theorem and frugality of deep learning [0.0]
  浅いネットワークの全零性に関するローゼンブラットの定理(英語版)は、初等パーセプトロンが訓練集合に相違がなければ任意の分類問題を解くことができることを述べる。 ミンスキーとパジェットは、神経入力に制限を課した初等パーセプトロンを、隠れた層における各ニューロンの結合数や受容野の比較的小さな直径とみなした。 このノートでは、最初のローゼンブラットの定理を実演し、初等パーセプトロンが旅行迷路問題を解く方法を示し、その解の複雑さを分析した。
  論文  参考訳（メタデータ） (2022-08-29T09:44:27Z)
• Width is Less Important than Depth in ReLU Neural Networks [40.83290846983707]
  我々は,$mathbbRd$の入力を持つ任意のターゲットネットワークを,幅$O(d)$ネットワークで近似できることを示す。 結果は、有界重み付きネットワークの構築や、最大で$d+2$の幅を持つネットワークの構築に拡張される。
  論文  参考訳（メタデータ） (2022-02-08T13:07:22Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
  本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。 我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
  論文  参考訳（メタデータ） (2021-01-18T15:40:27Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。