論文の概要: Depth Separation in Norm-Bounded Infinite-Width Neural Networks

• arxiv url: http://arxiv.org/abs/2402.08808v1
• Date: Tue, 13 Feb 2024 21:26:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 17:30:22.166607
• Title: Depth Separation in Norm-Bounded Infinite-Width Neural Networks
• Title（参考訳）: ノルム境界無限幅ニューラルネットワークにおける深さ分離
• Authors: Suzanna Parkinson, Greg Ongie, Rebecca Willett, Ohad Shamir, Nathan Srebro
• Abstract要約: 無限幅ニューラルネットワークでは,重みの総和$ell$-normで複雑性を制御できる。 本稿では,標準制御深度3ReLUネットワークによる入力次元のサンプル複雑性を学習可能な関数が存在するが,標準制御深度2ReLUネットワークによるサブ指数サンプル複雑性では学習できないことを示す。
• 参考スコア（独自算出の注目度）: 55.21840159087921
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study depth separation in infinite-width neural networks, where complexity is controlled by the overall squared $\ell_2$-norm of the weights (sum of squares of all weights in the network). Whereas previous depth separation results focused on separation in terms of width, such results do not give insight into whether depth determines if it is possible to learn a network that generalizes well even when the network width is unbounded. Here, we study separation in terms of the sample complexity required for learnability. Specifically, we show that there are functions that are learnable with sample complexity polynomial in the input dimension by norm-controlled depth-3 ReLU networks, yet are not learnable with sub-exponential sample complexity by norm-controlled depth-2 ReLU networks (with any value for the norm). We also show that a similar statement in the reverse direction is not possible: any function learnable with polynomial sample complexity by a norm-controlled depth-2 ReLU network with infinite width is also learnable with polynomial sample complexity by a norm-controlled depth-3 ReLU network.
• Abstract（参考訳）: 無限幅ニューラルネットワークにおける深度分離について検討し,重みの総和$\ell_2$-norm(ネットワーク内の全重みの平方数)で複雑性を制御した。 従来の深さ分離の結果は幅の分離に焦点が当てられていたが,ネットワーク幅が不有界である場合でも,ネットワークの一般化をうまく学べるかどうか,深度が決定できるかどうかの洞察は得られていない。 ここでは,学習能力に必要なサンプルの複雑さの観点から分離について検討する。 具体的には、ノルム制御深度-3 reluネットワークによる入力次元におけるサンプル複雑性多項式で学習できるが、ノルム制御深さ2 reluネットワークによるサブ指数的サンプル複雑性では学習できない関数が存在することを示す。 また、逆方向の同様の文は不可能であり、標準制御深度-2 ReLU ネットワークで多項式サンプルの複雑性を学習可能な関数は、標準制御深度-3 ReLU ネットワークで多項式サンプルの複雑性を学習できる。

関連論文リスト

• On Size-Independent Sample Complexity of ReLU Networks [9.15749739027059]
  一般化の観点からReLUニューラルネットワークを学習する際のサンプル複雑性について検討する。 関連する関数クラスのRademacher複雑性を推定する。
  論文  参考訳（メタデータ） (2023-06-03T03:41:33Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Learning Deep ReLU Networks Is Fixed-Parameter Tractable [21.625005195943707]
  ガウス入力に関して未知のReLUネットワークを学習する問題を考察する。 ランニング時間が周囲次元の固定重みとなるアルゴリズムを与える。 我々の境界は、隠れた単位数、深さ、スペクトルノルムのスペクトルノルム、リプシッツ定数に依存する。
  論文  参考訳（メタデータ） (2020-09-28T17:58:43Z)
• Neural Networks with Small Weights and Depth-Separation Barriers [40.66211670342284]
  一定の深さでは、既存の結果が2ドルと3ドルに制限され、より深い深さで結果を達成することが重要な問題となっている。 我々はフィードフォワードのReLUネットワークに注力し、その効果を4ドル以上の金額で証明する上での基本的な障壁を証明している。
  論文  参考訳（メタデータ） (2020-05-31T21:56:17Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)
• Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
  人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。 De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。 以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
  論文  参考訳（メタデータ） (2020-02-06T21:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。