論文の概要: Size and depth of monotone neural networks: interpolation and approximation

• arxiv url: http://arxiv.org/abs/2207.05275v2
• Date: Mon, 29 Apr 2024 15:24:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 03:47:11.336980
• Title: Size and depth of monotone neural networks: interpolation and approximation
• Title（参考訳）: 単調ニューラルネットワークのサイズと深さ--補間と近似
• Authors: Dan Mikulincer, Daniel Reichman,
• Abstract要約: 我々は,全ての重み(バイアスを除く)が負でないしきい値ゲートを持つモノトンニューラルネットワークについて検討した。 最初の結果は、$[0,1]d$を超えるすべての単調関数が、深さ4の単調ネットワークによって任意に小さな加算誤差で近似できることを証明した。 ゲートに制約のないネットワークで効率的に計算できる単調実関数が存在するのに対して、これらの関数を近似する単調ネットワークは次元の指数的サイズを必要とする。
• 参考スコア（独自算出の注目度）: 8.463693396893731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study monotone neural networks with threshold gates where all the weights (other than the biases) are non-negative. We focus on the expressive power and efficiency of representation of such networks. Our first result establishes that every monotone function over $[0,1]^d$ can be approximated within arbitrarily small additive error by a depth-4 monotone network. When $d > 3$, we improve upon the previous best-known construction which has depth $d+1$. Our proof goes by solving the monotone interpolation problem for monotone datasets using a depth-4 monotone threshold network. In our second main result we compare size bounds between monotone and arbitrary neural networks with threshold gates. We find that there are monotone real functions that can be computed efficiently by networks with no restriction on the gates whereas monotone networks approximating these functions need exponential size in the dimension.
• Abstract（参考訳）: 我々は,全ての重み(バイアスを除く)が負でないしきい値ゲートを持つモノトンニューラルネットワークについて検討した。 このようなネットワークの表現力と効率性に焦点をあてる。 最初の結果は、$[0,1]^d$を超えるすべての単調関数が、深さ4の単調ネットワークによって任意に小さな加算誤差で近似できることを証明した。 d > 3$ の場合、深さが $d+1$ である以前の最もよく知られた構造を改善します。 我々の証明は,深度4のモノトーンしきい値ネットワークを用いたモノトーンデータセットに対するモノトーン補間問題の解法によって導かれる。 2つ目の主な結果では、モノトーンと任意のニューラルネットワークとしきい値ゲートとの間のサイズ境界を比較した。 ゲートに制約のないネットワークで効率的に計算できる単調実関数が存在するのに対して、これらの関数を近似する単調ネットワークは次元の指数的サイズを必要とする。

関連論文リスト

• Approximating Positive Homogeneous Functions with Scale Invariant Neural Networks [28.2446416597989]
  まず,数直線測定によるスパースベクトルの回復について考察する。 この結果から,低ランク行列回復や位相回復を含む,より広範な回復問題に拡張する。 我々の結果は、逆問題に対するニューラルネットワークが典型的に非常に大きなリプシッツ定数を持つことを示す以前の研究の矛盾のように見えることに光を当てた。
  論文  参考訳（メタデータ） (2023-08-05T10:17:04Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Shallow neural network representation of polynomials [91.3755431537592]
  d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
  論文  参考訳（メタデータ） (2022-08-17T08:14:52Z)
• Constrained Monotonic Neural Networks [0.685316573653194]
  金融や医療といった多くの重要な分野におけるニューラルネットワークの採用は、その予測を説明する必要性によって妨げられている。 モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。 我々は、$mathbbRn$ のコンパクト部分集合上の任意の連続単調関数を近似できることを示した。
  論文  参考訳（メタデータ） (2022-05-24T04:26:10Z)
• Deep Network Approximation: Achieving Arbitrary Accuracy with Fixed Number of Neurons [5.37133760455631]
  一定数のニューロンを持つ全ての連続関数に対する普遍近似特性を実現するフィードフォワードニューラルネットワークを開発した。 例えば、$sigma$-activated networks with width $36d(2d+1)$ and depth $111$ can almost any continuous function on a $d$-dimensioanl hypercube in an arbitrarilyly small error。
  論文  参考訳（メタデータ） (2021-07-06T05:24:30Z)
• The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
  変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。 その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-22T21:28:00Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
  本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。 我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。 また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
  論文  参考訳（メタデータ） (2021-01-30T21:30:11Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。