論文の概要: On the Depth of Monotone ReLU Neural Networks and ICNNs

• arxiv url: http://arxiv.org/abs/2505.06169v1
• Date: Fri, 09 May 2025 16:19:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.336109
• Title: On the Depth of Monotone ReLU Neural Networks and ICNNs
• Title（参考訳）: モノトンReLUニューラルネットワークとICNNの深さについて
• Authors: Egor Bakaev, Florestan Brunck, Christoph Hertrich, Daniel Reichman, Amir Yehudayoff,
• Abstract要約: モノトンネットワーク(ReLU$+$)と入力凸ニューラルネットワーク(ICNN)の2つのモデルについて検討する。 我々の焦点は、主に深さの観点から表現性に焦点を当てており、以下の下限を証明している。
• 参考スコア（独自算出の注目度）: 6.809905390704206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study two models of ReLU neural networks: monotone networks (ReLU$^+$) and input convex neural networks (ICNN). Our focus is on expressivity, mostly in terms of depth, and we prove the following lower bounds. For the maximum function MAX$_n$ computing the maximum of $n$ real numbers, we show that ReLU$^+$ networks cannot compute MAX$_n$, or even approximate it. We prove a sharp $n$ lower bound on the ICNN depth complexity of MAX$_n$. We also prove depth separations between ReLU networks and ICNNs; for every $k$, there is a depth-2 ReLU network of size $O(k^2)$ that cannot be simulated by a depth-$k$ ICNN. The proofs are based on deep connections between neural networks and polyhedral geometry, and also use isoperimetric properties of triangulations.
• Abstract（参考訳）: 本稿では,モノトンネットワーク(ReLU$^+$)と入力凸ニューラルネットワーク(ICNN)の2つのモデルについて検討する。 我々の焦点は、主に深さの観点から表現性に焦点を当てており、以下の下限を証明している。 最大関数 MAX$_n$ を最大$n$実数で計算すると、ReLU$^+$ ネットワークは MAX$_n$ を計算できず、あるいは近似することもできない。 ICNN 深さの複雑さを MAX$_n$ の急激な$n$ 以下の値で証明する。 また、ReLUネットワークとICNNの深さ分離を証明し、$k$毎に$O(k^2)$の深さ2 ReLUネットワークが存在し、深さk$のICNNではシミュレートできない。 この証明は、ニューラルネットワークと多面体幾何学の深い関係に基づいており、三角測量の等尺性も利用している。

関連論文リスト

• Order Theory in the Context of Machine Learning [0.0]
  IVNNは整数重みを持つネットワークを指すが、真のバイアスである。 n$ の点を持つすべての列に対して、対応する位数ポリトープが存在する。 4点のポーズがニューラルネットワークを誘導し、それを2ドル2セントの畳み込みフィルタと解釈する方法を示す。
  論文  参考訳（メタデータ） (2024-12-08T22:57:41Z)
• Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
  我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。 また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• Capacity Bounds for Hyperbolic Neural Network Representations of Latent Tree Structures [8.28720658988688]
  本稿では,ReLUアクティベーション機能を持つHNN(Deep Hyperbolic Neural Network)の表現能力について検討する。 HNN が任意の有限重み付き木を少なくとも 2$ に等しい次元の双曲空間に埋め込むことができるという最初の証明を確立する。 グラフ表現を実装するHNNのネットワーク複雑性は,表現の忠実さ/歪みとは無関係であることがわかった。
  論文  参考訳（メタデータ） (2023-08-18T02:24:32Z)
• On Expressivity of Height in Neural Networks [29.49793694185358]
  私たちは、幅、深さ、高さが特徴のニューラルネットワークを3Dネットワークと呼んでいる。 我々は、同じ数のニューロンとパラメータを与えられた場合、幅$W$、深さ$K$、高さ$H$の3D ReLUネットワークは、幅$Htimes W$および深さ$K$の2Dネットワークよりも表現力が高いことを示す。
  論文  参考訳（メタデータ） (2023-05-11T11:54:36Z)
• Generalization Ability of Wide Neural Networks on $\mathbb{R}$ [8.508360765158326]
  広い2層ReLUニューラルネットワークのmathbbR$上での一般化能力について検討した。 $i)$幅$mrightarrowinfty$のとき、ニューラルネットワークカーネル(NNK)がNTKに均一に収束すると、$ii)$$$$K_1$のRKHSに対する回帰の最小値が$n-2/3$;$iii)$ 広義のニューラルネットワークをトレーニングする際に早期停止戦略を採用する場合、$ivとなる。
  論文  参考訳（メタデータ） (2023-02-12T15:07:27Z)
• A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
  本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。 我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
  論文  参考訳（メタデータ） (2021-01-18T15:40:27Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。