論文の概要: How Many Neurons Does it Take to Approximate the Maximum?

• arxiv url: http://arxiv.org/abs/2307.09212v1
• Date: Tue, 18 Jul 2023 12:47:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 14:55:38.505872
• Title: How Many Neurons Does it Take to Approximate the Maximum?
• Title（参考訳）: 最大値を近似するにはいくつのニューロンが必要か?
• Authors: Itay Safran, Daniel Reichman, Paul Valiant
• Abstract要約: 我々は、$d$入力以上の最大関数を近似するために必要なニューラルネットワークのサイズについて検討する。 様々な深さにまたがる近似に必要な幅について, 新たな下限と上限を提供する。
• 参考スコア（独自算出の注目度）: 8.135786025034625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the size of a neural network needed to approximate the maximum function over $d$ inputs, in the most basic setting of approximating with respect to the $L_2$ norm, for continuous distributions, for a network that uses ReLU activations. We provide new lower and upper bounds on the width required for approximation across various depths. Our results establish new depth separations between depth 2 and 3, and depth 3 and 5 networks, as well as providing a depth $\mathcal{O}(\log(\log(d)))$ and width $\mathcal{O}(d)$ construction which approximates the maximum function, significantly improving upon the depth requirements of the best previously known bounds for networks with linearly-bounded width. Our depth separation results are facilitated by a new lower bound for depth 2 networks approximating the maximum function over the uniform distribution, assuming an exponential upper bound on the size of the weights. Furthermore, we are able to use this depth 2 lower bound to provide tight bounds on the number of neurons needed to approximate the maximum by a depth 3 network. Our lower bounds are of potentially broad interest as they apply to the widely studied and used \emph{max} function, in contrast to many previous results that base their bounds on specially constructed or pathological functions and distributions.
• Abstract（参考訳）: 本稿では、ReLUアクティベーションを用いたネットワークに対して、連続分布に対する$L_2$ノルムに対する近似の最も基本的な設定において、$d$入力の最大関数を近似するために必要なニューラルネットワークのサイズについて検討する。 様々な深さでの近似に必要な幅の新たな下界と上界を提供する。 以上の結果から,深度2と3と深度3と5のネットワーク間の新たな深度分離と,最大関数を近似した深さ$\mathcal{O}(\log(\log(d)))$と幅$\mathcal{O}(d)$の構築が実現され,線形有界なネットワークの既知境界の深さ要求が大幅に改善された。 重みの大きさに指数的な上界を仮定して、一様分布上の最大関数を近似した新しい深度2ネットワークの下位境界により、深度分離の結果が促進される。 さらに、この深さ2下界を用いて、深さ3ネットワークで最大値を近似するのに必要なニューロン数に厳密な境界を与えることができる。 我々の下界は、広く研究され使われている 'emph{max} 関数に適用され、特別に構築されたあるいは病理的な関数や分布に基づく多くの以前の結果とは対照的に、潜在的に広い関心を持つ。

関連論文リスト

• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Depth Separations in Neural Networks: Separating the Dimension from the Accuracy [9.783697404304027]
  我々は、(実入力で)深度2と深度3ニューラルネットの指数的なサイズ分離を証明した。 対象関数が深度3ネットワークを用いて効率的に表現できる場合であっても,次元の呪いは深さ2の近似で現れることを示す。
  論文  参考訳（メタデータ） (2024-02-11T17:27:26Z)
• Neural networks: deep, shallow, or in between? [0.6043356028687779]
  我々は、幅W、深さl、リプシッツ活性化関数を持つフィードフォワードニューラルネットワークの出力によるバナッハ空間からのコンパクト部分集合の近似誤差を推定する。 モーモ対数係数は、エントロピー数の速度が無限大となるニューラルネットワークに対してのみ達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-11T04:50:28Z)
• Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
  DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
  論文  参考訳（メタデータ） (2023-07-08T16:00:59Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice Polytopes [3.0079490585515343]
  我々は、$lceillog_(n)rceil$ hidden layerが$n$の最大値を計算するために本当に必要であることを示す。 この結果は、ニューラルネットワークと熱帯の幾何学によるニュートンポリトープの双対性に基づいている。
  論文  参考訳（メタデータ） (2023-02-24T10:14:53Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks [21.13299067136635]
  深部ReLUネットワークに対するNTK行列の最小固有値に厳密な境界を与える。 有限幅設定では、我々が考えるネットワークアーキテクチャは非常に一般的である。
  論文  参考訳（メタデータ） (2020-12-21T19:32:17Z)
• Provable Memorization via Deep Neural Networks using Sub-linear Parameters [91.0268925267129]
  O(N)$パラメータはニューラルネットワークが任意の$N$入力ラベルペアを記憶するのに十分であることが知られている。 深度を利用して,$O(N2/3)$パラメータが入力点分離の軽度条件下で,$N$ペアを記憶するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-10-26T06:19:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。