論文の概要: Deep Neural Networks with General Activations: Super-Convergence in Sobolev Norms

• arxiv url: http://arxiv.org/abs/2508.05141v1
• Date: Thu, 07 Aug 2025 08:19:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.761078
• Title: Deep Neural Networks with General Activations: Super-Convergence in Sobolev Norms
• Title（参考訳）: 一般活性化を伴うディープニューラルネットワーク:ソボレフノルムにおける超収束
• Authors: Yahong Yang, Juncai He,
• Abstract要約: 本稿では,ソボレフ空間の一般利用および一般活性化関数を持つ深層完全連結ニューラルネットワークに対する包括的近似結果(Wn,infty$)を確立する。 導出速度は有限要素法やスペクトル法のような古典的数値近似法よりも高い。 この研究は、PDEに対するニューラルネットワークベースのアプローチに対する誤差推定理論の重大なギャップを埋め、科学計算に使用するための統一された理論的基盤を提供する。
• 参考スコア（独自算出の注目度）: 2.07180164747172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper establishes a comprehensive approximation result for deep fully-connected neural networks with commonly-used and general activation functions in Sobolev spaces $W^{n,\infty}$, with errors measured in the $W^{m,p}$-norm for $m < n$ and $1\le p \le \infty$. The derived rates surpass those of classical numerical approximation techniques, such as finite element and spectral methods, exhibiting a phenomenon we refer to as \emph{super-convergence}. Our analysis shows that deep networks with general activations can approximate weak solutions of partial differential equations (PDEs) with superior accuracy compared to traditional numerical methods at the approximation level. Furthermore, this work closes a significant gap in the error-estimation theory for neural-network-based approaches to PDEs, offering a unified theoretical foundation for their use in scientific computing.
• Abstract（参考訳）: 本稿では,ソボレフ空間の一般利用および一般活性化関数を持つ深層完全連結ニューラルネットワークに対して,W^{m,p}$-norm for $m < n$ および $1\le p \le \infty$ の誤差を測った包括的近似結果を確立する。 導出速度は、有限要素やスペクトル法などの古典的数値近似手法を上回り、'emph{super-convergence} と呼ばれる現象を示す。 本分析により, 偏微分方程式(PDE)の弱解を近似的に近似し, 近似レベルでの従来の数値法と比較して精度良く近似できることがわかった。 さらに、この研究は、PDEに対するニューラルネットワークベースのアプローチに対する誤差推定理論の重大なギャップを埋め、科学計算に使用するための統一的な理論基盤を提供する。

関連論文リスト

• A Near Complete Nonasymptotic Generalization Theory For Multilayer Neural Networks: Beyond the Bias-Variance Tradeoff [57.25901375384457]
  任意のリプシッツ活性化と一般リプシッツ損失関数を持つ多層ニューラルネットワークに対する漸近一般化理論を提案する。 特に、文献でよく見られるように、損失関数の有界性を必要としない。 回帰問題に対する多層ReLUネットワークに対する理論の極小最適性を示す。
  論文  参考訳（メタデータ） (2025-03-03T23:34:12Z)
• Functional SDE approximation inspired by a deep operator network architecture [0.0]
  ディープニューラルネットワークによる微分方程式(SDE)の近似解の導出と解析を行う。 このアーキテクチャはDeep Operator Networks(DeepONets)の概念にインスパイアされたもので、ネットワークに表される基盤の削減という観点からの演算子学習に基づいている。 提案したSDEONetアーキテクチャは,Wienerカオス拡張の最適スパース切り込みを学習することにより,指数複雑性の問題を緩和することを目的としている。
  論文  参考訳（メタデータ） (2024-02-05T14:12:35Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Optimal Deep Neural Network Approximation for Korobov Functions with respect to Sobolev Norms [8.249180979158819]
  本稿では,コロボフ関数に適用した場合のディープニューラルネットワーク(DNN)の近似のほぼ最適値を確立する。 我々の達成した近似速度は、従来の手法と連続関数近似器よりも優れた「超収束」率を示す。
  論文  参考訳（メタデータ） (2023-11-08T15:59:10Z)
• Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
  本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。 解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。 注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
  論文  参考訳（メタデータ） (2023-10-16T19:00:43Z)
• The edge of chaos: quantum field theory and deep neural networks [0.0]
  我々は、ディープニューラルネットワークの一般クラスに対応する量子場理論を明示的に構築する。 我々は、深さ$T$と幅$N$との比の摂動展開において、相関関数に対するループ補正を計算する。 我々の分析は、急速に出現するNN-QFT対応に対する第一原理のアプローチを提供し、ディープニューラルネットワークの臨界性の研究にいくつかの興味深い道を開く。
  論文  参考訳（メタデータ） (2021-09-27T18:00:00Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Parametric Complexity Bounds for Approximating PDEs with Neural Networks [41.46028070204925]
  pdeの係数が小さなニューラルネットワークで表現できる場合、入力された$d$でスケール的に解を近似するために必要なパラメータは、ニューラルネットワークのパラメータ数に比例することを証明する。 我々の証明は、PDEの解に収束する適切な空間における勾配降下をシミュレートするニューラルネットワークの構築に基づいている。
  論文  参考訳（メタデータ） (2021-03-03T02:42:57Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Theory of Deep Convolutional Neural Networks II: Spherical Analysis [9.099589602551573]
  単位球面$mathbbSd-1$ of $mathbbRd$ 上の近似関数に適用された深部畳み込みニューラルネットワークの族を考える。 我々の解析は、近似関数がソボレフ空間 $Wr_infty (mathbbSd-1)$ に$r>0$ あるいは加法リッジ形式を取るとき、一様近似の速度を示す。
  論文  参考訳（メタデータ） (2020-07-28T14:54:30Z)
• Interval Universal Approximation for Neural Networks [47.767793120249095]
  区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。 本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
  論文  参考訳（メタデータ） (2020-07-12T20:43:56Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。