論文の概要: Expressive Power of Deep Networks on Manifolds: Simultaneous Approximation

• arxiv url: http://arxiv.org/abs/2509.09362v2
• Date: Mon, 15 Sep 2025 02:56:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 13:19:47.986211
• Title: Expressive Power of Deep Networks on Manifolds: Simultaneous Approximation
• Title（参考訳）: マニフォールド上のディープネットワークの表現力--同時近似
• Authors: Hanfei Zhou, Lei Shi,
• Abstract要約: 境界重みを持つ定数深度$mathrmReLUk-1$ネットワークは、ソボレフ空間内の任意の関数を近似することができることを示す。 下界の証明は、Vapnik-Chervonenkis次元の新たな推定と、ネットワークの高階微分クラスの擬次元を導入している。
• 参考スコア（独自算出の注目度）: 2.815765641180636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key challenge in scientific machine learning is solving partial differential equations (PDEs) on complex domains, where the curved geometry complicates the approximation of functions and their derivatives required by differential operators. This paper establishes the first simultaneous approximation theory for deep neural networks on manifolds. We prove that a constant-depth $\mathrm{ReLU}^{k-1}$ network with bounded weights--a property that plays a crucial role in controlling generalization error--can approximate any function in the Sobolev space $\mathcal{W}_p^{k}(\mathcal{M}^d)$ to an error of $\varepsilon$ in the $\mathcal{W}_p^{s}(\mathcal{M}^d)$ norm, for $k\geq 3$ and $s<k$, using $\mathcal{O}(\varepsilon^{-d/(k-s)})$ nonzero parameters, a rate that overcomes the curse of dimensionality by depending only on the intrinsic dimension $d$. These results readily extend to functions in H\"older-Zygmund spaces. We complement this result with a matching lower bound, proving our construction is nearly optimal by showing the required number of parameters matches up to a logarithmic factor. Our proof of the lower bound introduces novel estimates for the Vapnik-Chervonenkis dimension and pseudo-dimension of the network's high-order derivative classes. These complexity bounds provide a theoretical cornerstone for learning PDEs on manifolds involving derivatives. Our analysis reveals that the network architecture leverages a sparse structure to efficiently exploit the manifold's low-dimensional geometry.
• Abstract（参考訳）: 科学機械学習における重要な課題は、複素領域上の偏微分方程式(PDE)を解くことである。 本稿では,多様体上のディープニューラルネットワークに対する最初の同時近似理論を確立する。 定数-depth $\mathrm{ReLU}^{k-1}$ network with bounded weights----------- ソボレフ空間の任意の関数を近似できる---------------------------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------varepsilo n$-------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------- ----------- これらの結果は、H\"older-Zygmund 空間の函数に容易に拡張される。 この結果を一致した下界で補完し、必要なパラメータ数が対数係数に一致することを示すことによって、構築がほぼ最適であることを示す。 下界の証明は、Vapnik-Chervonenkis次元の新たな推定と、ネットワークの高階微分クラスの擬次元を導入している。 これらの複雑性境界は、微分を含む多様体上の PDE を学ぶための理論的な基礎を与える。 解析の結果,ネットワーク構造はスパース構造を利用して,多様体の低次元幾何学を効率的に活用していることがわかった。

関連論文リスト

• Quantum Circuit Encodings of Polynomial Chaos Expansions [5.63729124086755]
  可算パラメトリックな正則写像 $u:Uto mathbbR$, ここでパラメータ領域は$U=[-1,1]mathbbN$である。 我々は、これらのパラメトリックマップの一般化カオス(gPC)展開の最良の$n$の長期トラニケーションを通じて、次元非依存の量子回路近似速度を確立する。 本結果は,アプリケーションにおける広範囲のマップに対する量子化アルゴリズムに影響を及ぼす。
  論文  参考訳（メタデータ） (2025-06-02T15:53:36Z)
• Neural Networks and (Virtual) Extended Formulations [5.762677915745415]
  私たちは、$P$を最適化するニューラルネットワークのサイズに対して、より低い境界を証明します。 我々は、$mathrmxc(P)$が任意のモノトーンや入力ニューラルネットワークのサイズの低い境界であることを示し、$P$を超える線形最適化問題を解く。
  論文  参考訳（メタデータ） (2024-11-05T11:12:11Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Neural Network Approximation of Continuous Functions in High Dimensions with Applications to Inverse Problems [6.84380898679299]
  現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。 ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
  論文  参考訳（メタデータ） (2022-08-28T22:44:07Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。