論文の概要: Size and depth of monotone neural networks: interpolation and
approximation
- arxiv url: http://arxiv.org/abs/2207.05275v1
- Date: Tue, 12 Jul 2022 03:02:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-13 14:00:32.214235
- Title: Size and depth of monotone neural networks: interpolation and
approximation
- Title(参考訳): モノトーンニューラルネットワークのサイズと深さ:補間と近似
- Authors: Dan Mikulincer and Daniel Reichman
- Abstract要約: 我々は、$mathbbRd$に$n$の点を持つすべての単調データセットに対して、深さ4$とサイズ$O(nd)$の補間単調ネットワークが存在することを示した。
回路の複雑化の結果から、正のパラメータを持つ誘導バイアスは、単トン関数を近似する際のニューロン数の超ポリノミウム爆発を引き起こすことが示されている。
- 参考スコア(独自算出の注目度): 5.981713797195162
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monotone functions and data sets arise in a variety of applications. We study
the interpolation problem for monotone data sets: The input is a monotone data
set with $n$ points, and the goal is to find a size and depth efficient
monotone neural network, with non negative parameters and threshold units, that
interpolates the data set. We show that there are monotone data sets that
cannot be interpolated by a monotone network of depth $2$. On the other hand,
we prove that for every monotone data set with $n$ points in $\mathbb{R}^d$,
there exists an interpolating monotone network of depth $4$ and size $O(nd)$.
Our interpolation result implies that every monotone function over $[0,1]^d$
can be approximated arbitrarily well by a depth-4 monotone network, improving
the previous best-known construction of depth $d+1$. Finally, building on
results from Boolean circuit complexity, we show that the inductive bias of
having positive parameters can lead to a super-polynomial blow-up in the number
of neurons when approximating monotone functions.
- Abstract(参考訳): モノトーン関数とデータセットは、さまざまなアプリケーションで発生します。
モノトーンデータセットの補間問題(interpolation problem)について検討する。入力は、n$ポイントのモノトーンデータセットであり、目標は、データセットを補間する非負のパラメータとしきい値ユニットを持つ、サイズと深さの効率的なモノトーンニューラルネットワークを見つけることである。
深さ2ドルのモノトーンネットワークでは補間できないモノトーンデータセットが存在することを示す。
一方で、$n$ で$\mathbb{r}^d$ のモノトーンデータ集合に対して、深さ 4$ とサイズ $o(nd)$ の補間モノトーンネットワークが存在することを証明する。
我々の補間結果から、$[0,1]^d$ 上のすべての単調関数は、深さ 4 の単調ネットワークによって任意に近似可能であることが示唆される。
最後に,ブール回路の複雑性の結果に基づいて,正のパラメータを持つ帰納的バイアスが,単音関数近似時のニューロン数を超多項ブローアップさせる可能性を示す。
関連論文リスト
- Interplay between depth and width for interpolation in neural ODEs [0.0]
それらの幅$p$と層遷移数$L$の相互作用について検討する。
高次元設定では、$p=O(N)$ニューロンが正確な制御を達成するのに十分であることを示す。
論文 参考訳(メタデータ) (2024-01-18T11:32:50Z) - Approximating Positive Homogeneous Functions with Scale Invariant Neural
Networks [28.2446416597989]
まず,数直線測定によるスパースベクトルの回復について考察する。
この結果から,低ランク行列回復や位相回復を含む,より広範な回復問題に拡張する。
我々の結果は、逆問題に対するニューラルネットワークが典型的に非常に大きなリプシッツ定数を持つことを示す以前の研究の矛盾のように見えることに光を当てた。
論文 参考訳(メタデータ) (2023-08-05T10:17:04Z) - Polynomial Width is Sufficient for Set Representation with
High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。
a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文 参考訳(メタデータ) (2023-07-08T16:00:59Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳(メタデータ) (2023-03-09T10:08:34Z) - Shallow neural network representation of polynomials [91.3755431537592]
d+1+sum_r=2Rbinomr+d-1d-1[binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1[binomr+d-1d-1d-1]binomr+d-1d-1d-1]
論文 参考訳(メタデータ) (2022-08-17T08:14:52Z) - Constrained Monotonic Neural Networks [0.685316573653194]
金融や医療といった多くの重要な分野におけるニューラルネットワークの採用は、その予測を説明する必要性によって妨げられている。
モノトニック性制約は、現実世界のシナリオで最も要求された特性の1つである。
我々は、$mathbbRn$ のコンパクト部分集合上の任意の連続単調関数を近似できることを示した。
論文 参考訳(メタデータ) (2022-05-24T04:26:10Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳(メタデータ) (2022-02-23T16:10:23Z) - Deep Network Approximation: Achieving Arbitrary Accuracy with Fixed
Number of Neurons [5.37133760455631]
一定数のニューロンを持つ全ての連続関数に対する普遍近似特性を実現するフィードフォワードニューラルネットワークを開発した。
例えば、$sigma$-activated networks with width $36d(2d+1)$ and depth $111$ can almost any continuous function on a $d$-dimensioanl hypercube in an arbitrarilyly small error。
論文 参考訳(メタデータ) (2021-07-06T05:24:30Z) - The Power of Subsampling in Submodular Maximization [51.629656762796564]
このアプローチは,既存の手法よりもはるかに単純であるにもかかわらず,最適/最先端の結果をもたらすことを示す。
我々は,映像要約,位置情報要約,映画推薦タスクにおけるアルゴリズムの有効性を実証的に示す。
論文 参考訳(メタデータ) (2021-04-06T20:25:57Z) - Size and Depth Separation in Approximating Natural Functions with Neural
Networks [52.73592689730044]
本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。
我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。
また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
論文 参考訳(メタデータ) (2021-01-30T21:30:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。