論文の概要: Approximation Theory for Neural Networks: Old and New

• arxiv url: http://arxiv.org/abs/2605.21451v1
• Date: Wed, 20 May 2026 17:42:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.818256
• Title: Approximation Theory for Neural Networks: Old and New
• Title（参考訳）: ニューラルネットワークの近似理論--古くて新しい
• Authors: Soumendu Sundar Mukherjee, Himasish Talukdar,
• Abstract要約: 普遍近似は、ニューラルネットワークの表現力に関する数学的説明を提供する。 単層ネットワークの古典的密度結果と近似誤差とネットワークサイズの関係を定量的に検討した。 Kolmogorov--Arnold Networks (KAN) の最近の開発は、代替アーキテクチャパラダイムを提供する。
• 参考スコア（独自算出の注目度）: 1.6300219183960216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Universal approximation theorems provide a mathematical explanation for the expressive power of neural networks. They assert that, under mild conditions on the activation function, feedforward neural networks are dense in broad function classes, such as continuous functions on compact subsets of $\mathbb{R}^d$, $L^p$ spaces, or Sobolev spaces. Over the past four decades, these qualitative universality results have evolved into a rich quantitative theory addressing approximation rates, parameter efficiency, and the role of architectural features such as depth and width. This survey presents several glimpses into this theory. We review classical density results for single-hidden-layer networks, as well as quantitative bounds that relate approximation error to network size and smoothness assumptions on target functions. Particular emphasis is placed on depth--width trade-offs and on results demonstrating that deeper architectures can achieve superior parameter efficiency for structured function classes. In addition to standard feedforward neural networks, we also review recent developments on Kolmogorov--Arnold Networks (KANs), which offer an alternative architectural paradigm and whose approximation-theoretic properties have begun to attract significant theoretical attention.
• Abstract（参考訳）: 普遍近似定理は、ニューラルネットワークの表現力に関する数学的説明を提供する。 彼らは、活性化関数の穏やかな条件下では、フィードフォワードニューラルネットワークは、$\mathbb{R}^d$, $L^p$空間のコンパクト部分集合上の連続函数やソボレフ空間などの広い函数クラスにおいて密接であると主張する。 過去40年間で、これらの定性的普遍性の結果は、近似率、パラメータ効率、深さや幅といったアーキテクチャ的特徴の役割に対処する豊富な定量的理論へと発展してきた。 この調査は、この理論を垣間見る。 対象関数に対する近似誤差とネットワークサイズと滑らかさの仮定を関連づけた定量的な境界値とともに,単層ネットワークの古典的密度結果について検討する。 特に、深度-幅のトレードオフと、より深いアーキテクチャが構造化関数クラスに対して優れたパラメータ効率を達成することを示す結果に重点を置いている。 標準フィードフォワードニューラルネットワークに加えて、代替アーキテクチャパラダイムを提供するKAN(Kolmogorov--Arnold Networks)の最近の開発についてもレビューする。

関連論文リスト

• Dense Neural Networks are not Universal Approximators [53.27010448621372]
  ニューラルネットワークは任意の連続関数の普遍性を持たないことを示す。 ReLUニューラルネットワークは、重みと入出力次元の自然な制約を受ける。
  論文  参考訳（メタデータ） (2026-02-07T16:52:38Z)
• Distributionally robust approximation property of neural networks [0.0]
  ニューラルネットワークがオルリッツ空間に密接であることを証明するため、従来の$Lp$-settingを超えた古典的普遍近似定理を拡張できる。 ニューラルネットワークの被覆クラスには、非ポリノミカルアクティベーション関数を持つフィードフォワードニューラルネットワーク、ReLUアクティベーション関数を持つ深い狭いネットワーク、関数入力ニューラルネットワークなど、広く使われているアーキテクチャが含まれる。
  論文  参考訳（メタデータ） (2025-10-10T09:21:34Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study [8.183509993010983]
  深部演算子のネットワークにおけるニューラルネットワークのスケーリング法則をChenおよびChenスタイルアーキテクチャを用いて検討する。 我々は、その近似と一般化誤差を分析して、ニューラルネットワークのスケーリング法則を定量化する。 本結果は,演算子学習における神経スケーリング法則を部分的に説明し,その応用の理論的基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-01T03:06:55Z)
• Neural reproducing kernel Banach spaces and representer theorems for deep networks [14.902126718612648]
  ディープニューラルネットワークは、適切なカーネルバナッハ空間の再生を定義する。 応用において一般的に用いられる有限アーキテクチャを正当化する代表者定理を導出する。
  論文  参考訳（メタデータ） (2024-03-13T17:51:02Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Approximation Power of Deep Neural Networks: an explanatory mathematical survey [0.0]
  この調査では、ニューラルネットワークがターゲット関数をいかに効果的に近似するかを調べ、従来の近似法より優れている条件を特定する。 主なトピックは、ディープネットワークの非線形で構成的な構造と、回帰と分類設定における最適化問題としてのニューラルネットワークタスクの形式化である。 このサーベイは、深いReLUネットワークの近似能力と他の近似手法の近似能力を比較することで、連続関数空間におけるニューラルネットワークの密度を探索する。
  論文  参考訳（メタデータ） (2022-07-19T18:47:44Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Expressivity of Deep Neural Networks [2.7909470193274593]
  本稿では,ニューラルネットワークの様々な近似結果について概説する。 既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
  論文  参考訳（メタデータ） (2020-07-09T13:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。