論文の概要: Tighter Sparse Approximation Bounds for ReLU Neural Networks
- arxiv url: http://arxiv.org/abs/2110.03673v1
- Date: Thu, 7 Oct 2021 17:57:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 15:53:00.878690
- Title: Tighter Sparse Approximation Bounds for ReLU Neural Networks
- Title（参考訳）: ReLUニューラルネットワークのためのタイタースパース近似境界
- Authors: Carles Domingo-Enrich, Youssef Mroueh
- Abstract要約: 有名な研究ライン(Barron, 1993; Breiman, 1993; Klusowski & Barron, 1993)は、ReLUの2層ニューラルネットワークの幅$n$の限界を提供する。
最近では、Ongieらはラドン変換を無限幅のReLU2層ネットワークの解析ツールとして利用している。
- 参考スコア（独自算出の注目度）: 25.386446536829318
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A well-known line of work (Barron, 1993; Breiman, 1993; Klusowski & Barron,
2018) provides bounds on the width $n$ of a ReLU two-layer neural network
needed to approximate a function $f$ over the ball $\mathcal{B}_R(\R^d)$ up to
error $\epsilon$, when the Fourier based quantity $C_f = \int_{\R^d} \|\xi\|^2
|\hat{f}(\xi)| \ d\xi$ is finite. More recently Ongie et al. (2019) used the
Radon transform as a tool for analysis of infinite-width ReLU two-layer
networks. In particular, they introduce the concept of Radon-based
$\mathcal{R}$-norms and show that a function defined on $\R^d$ can be
represented as an infinite-width two-layer neural network if and only if its
$\mathcal{R}$-norm is finite. In this work, we extend the framework of Ongie et
al. (2019) and define similar Radon-based semi-norms ($\mathcal{R},
\mathcal{U}$-norms) such that a function admits an infinite-width neural
network representation on a bounded open set $\mathcal{U} \subseteq \R^d$ when
its $\mathcal{R}, \mathcal{U}$-norm is finite. Building on this, we derive
sparse (finite-width) neural network approximation bounds that refine those of
Breiman (1993); Klusowski & Barron (2018). Finally, we show that infinite-width
neural network representations on bounded open sets are not unique and study
their structure, providing a functional view of mode connectivity.
- Abstract（参考訳）: 有名な仕事の行(Barron, 1993; Breiman, 1993; Klusowski & Barron, 2018)は、ボール上の関数 $f$ を近似するのに必要な ReLU の2層ニューラルネットワークの幅 $n$ の有界性を提供する: $\mathcal{B}_R(\R^d)$ up to error $\epsilon$ フーリエ基底量 $C_f = \int_{\R^d} \|\xi\|^2 |\hat{f}(\xi)| \ d\xi$ は有限である。
最近では、ongie et al. (2019) は無限幅relu二層ネットワークの解析ツールとしてラドン変換を用いた。
特に、Randon ベースの $\mathcal{R}$-norms の概念を導入し、$\R^d$ で定義される関数が無限幅の2層ニューラルネットワークとして表現できることを示し、その $\mathcal{R}$-norm が有限である場合に限る。
本研究は Ongie et al. (2019) のフレームワークを拡張し、同様の Radon-based semi-norms ($\mathcal{R}, \mathcal{U}$-norms) を定義し、有界開集合 $\mathcal{U} \subseteq \R^d$ 上の無限幅のニューラルネットワーク表現を許容する関数を、その $\mathcal{R}, \mathcal{U}$-norm が有限であるときに定義する。
これに基づいて、sparse (finite-width)ニューラルネットワーク近似境界を導出し、breiman (1993), klusowski & barron (2018) を改良する。
最後に、有界開集合上の無限幅ニューラルネットワーク表現はユニークではなく、その構造を研究し、モード接続性の関数的ビューを提供する。
関連論文リスト
- New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform [4.096453902709292]
我々は,ReLU$k$アクティベーション関数がソボレフ空間からの関数をいかに効率的に近似できるかという問題を考察する。
例えば、$qleq p$, $pgeq 2$, $s leq k + (d+1)/2$ などである。
論文 参考訳（メタデータ） (2024-08-20T16:43:45Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。
次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。
この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文 参考訳（メタデータ） (2023-11-23T02:19:32Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich
Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。
有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文 参考訳（メタデータ） (2022-12-23T04:48:04Z) - Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and Besov Spaces [2.7195102129095003]
ReLU活性化関数を持つディープニューラルネットワークは、ソボレフ空間$Ws(L_q(Omega))$とBesov空間$Bs_r(L_q(Omega))$の関数を近似することができる。
この問題は、様々な分野におけるニューラルネットワークの適用を研究する際に重要である。
論文 参考訳（メタデータ） (2022-11-25T23:32:26Z) - On the Sample Complexity of Two-Layer Networks: Lipschitz vs.
Element-Wise Lipschitz Activation [20.70453775428433]
本研究では,異なるアクティベーション関数を用いた有界二層ニューラルネットワークのサンプル複雑性について検討する。
我々は、$sigma$ が要素ワイドであれば、$mathcalH$ のサンプルの複雑さは、幅の対数依存しか持たないことを証明する。
論文 参考訳（メタデータ） (2022-11-17T16:27:15Z) - Nonclosedness of Sets of Neural Networks in Sobolev Spaces [0.0]
実現されたニューラルネットワークは順序で閉じていないことを示す--(m-1)$ソボレフ空間$Wm-1,p$ for $p in [1,infty]$。
実解析的アクティベーション関数に対して、実現されたニューラルネットワークの集合は、mathbbN$の任意の$kに対して$Wk,p$で閉じていないことを示す。
論文 参考訳（メタデータ） (2020-07-23T00:57:25Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。