論文の概要: Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories
- arxiv url: http://arxiv.org/abs/2306.14859v1
- Date: Mon, 26 Jun 2023 17:13:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 12:16:33.048788
- Title: Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories
- Title（参考訳）: 深部非パラメトリック回帰の効果的なミンコフスキー次元:関数近似と統計理論
- Authors: Zixuan Zhang, Minshuo Chen, Mengdi Wang, Wenjing Liao, Tuo Zhao
- Abstract要約: ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
- 参考スコア（独自算出の注目度）: 70.90012822736988
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing theories on deep nonparametric regression have shown that when the
input data lie on a low-dimensional manifold, deep neural networks can adapt to
the intrinsic data structures. In real world applications, such an assumption
of data lying exactly on a low dimensional manifold is stringent. This paper
introduces a relaxed assumption that the input data are concentrated around a
subset of $\mathbb{R}^d$ denoted by $\mathcal{S}$, and the intrinsic dimension
of $\mathcal{S}$ can be characterized by a new complexity notation -- effective
Minkowski dimension. We prove that, the sample complexity of deep nonparametric
regression only depends on the effective Minkowski dimension of $\mathcal{S}$
denoted by $p$. We further illustrate our theoretical findings by considering
nonparametric regression with an anisotropic Gaussian random design
$N(0,\Sigma)$, where $\Sigma$ is full rank. When the eigenvalues of $\Sigma$
have an exponential or polynomial decay, the effective Minkowski dimension of
such an Gaussian random design is $p=\mathcal{O}(\sqrt{\log n})$ or
$p=\mathcal{O}(n^\gamma)$, respectively, where $n$ is the sample size and
$\gamma\in(0,1)$ is a small constant depending on the polynomial decay rate.
Our theory shows that, when the manifold assumption does not hold, deep neural
networks can still adapt to the effective Minkowski dimension of the data, and
circumvent the curse of the ambient dimensionality for moderate sample sizes.
- Abstract（参考訳）: 深層非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは固有のデータ構造に適応できることを示した。
実世界の応用において、そのような低次元多様体に正確に横たわるデータの仮定は厳密である。
本稿では、入力データが$\mathcal{s}$ で表される$\mathbb{r}^d$ の部分集合の周りに集中しているという緩和された仮定を導入し、$\mathcal{s}$ の本質的次元は、新しい複雑性記法 -- 効果的なミンコフスキー次元によって特徴づけられる。
我々は、深い非パラメトリック回帰のサンプルの複雑さが、有効ミンコフスキー次元の$\mathcal{S}$にのみ依存していることを証明する。
さらに、非パラメトリック回帰を異方性ガウス的ランダム設計で考慮し、N(0,\Sigma)$,$\Sigma$をフルランクとする理論的な知見を述べる。
固有値が指数的または多項式的崩壊を持つとき、そのようなガウス的ランダム設計の有効ミンコフスキー次元は、それぞれ $p=\mathcal{o}(\sqrt{\log n})$ または $p=\mathcal{o}(n^\gamma)$ であり、ここで $n$ は標本サイズであり、$\gamma\in(0,1)$ は多項式減衰率に依存する小さな定数である。
この理論は、多様体の仮定が持たない場合でも、深層ニューラルネットワークはデータの効果的なミンコフスキー次元に適応でき、適度なサンプルサイズに対する環境次元の呪いを回避できることを示している。
関連論文リスト
- Dimension-free Private Mean Estimation for Anisotropic Distributions [55.86374912608193]
以前の$mathRd上の分布に関する民間推定者は、次元性の呪いに苦しむ。
本稿では,サンプルの複雑さが次元依存性を改善したアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-01T17:59:53Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Sample Complexity of Neural Policy Mirror Descent for Policy
Optimization on Low-Dimensional Manifolds [75.51968172401394]
深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。
NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。
NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
論文 参考訳（メタデータ） (2023-09-25T07:31:22Z) - High-Dimensional Smoothed Entropy Estimation via Dimensionality
Reduction [14.53979700025531]
微分エントロピー$h(X+Z)$を独立に$n$で推定し、同じ分散サンプルを$X$とする。
絶対誤差損失では、上記の問題はパラメータ推定率$fraccDsqrtn$である。
我々は、エントロピー推定の前に主成分分析(PCA)を通して低次元空間に$X$を投影することで、この指数的なサンプル複雑性を克服する。
論文 参考訳（メタデータ） (2023-05-08T13:51:48Z) - Neural Implicit Manifold Learning for Topology-Aware Density Estimation [15.878635603835063]
現在の生成モデルは、ニューラルネットワークを介して$m$次元の潜在変数をマッピングすることで、$mathcalM$を学ぶ。
我々のモデルは、プッシュフォワードモデルよりも複雑なトポロジーを持つ多様体支持分布を正確に学習できることが示される。
論文 参考訳（メタデータ） (2022-06-22T18:00:00Z) - Besov Function Approximation and Binary Classification on
Low-Dimensional Manifolds Using Convolutional Residual Networks [42.43493635899849]
畳み込み残余ネットワーク(ConvResNet)の理論的保証を関数近似および二項分類の統計的推定の観点から確立する。
その結果,ConvResNetsはデータセットの低次元構造に適応していることがわかった。
論文 参考訳（メタデータ） (2021-09-07T02:58:11Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳（メタデータ） (2021-06-04T17:52:50Z) - Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文 参考訳（メタデータ） (2020-05-29T07:20:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。