論文の概要: Dense Neural Networks are not Universal Approximators
- arxiv url: http://arxiv.org/abs/2602.07618v2
- Date: Tue, 10 Feb 2026 19:37:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-12 15:03:20.016825
- Title: Dense Neural Networks are not Universal Approximators
- Title（参考訳）: Dense Neural NetworksはUniversal Approximatorではない
- Authors: Levi Rauchwerger, Stefanie Jegelka, Ron Levie,
- Abstract要約: ニューラルネットワークは任意の連続関数の普遍性を持たないことを示す。
ReLUニューラルネットワークは、重みと入出力次元の自然な制約を受ける。
- 参考スコア（独自算出の注目度）: 53.27010448621372
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the approximation capabilities of dense neural networks. While universal approximation theorems establish that sufficiently large architectures can approximate arbitrary continuous functions if there are no restrictions on the weight values, we show that dense neural networks do not possess this universality. Our argument is based on a model compression approach, combining the weak regularity lemma with an interpretation of feedforward networks as message passing graph neural networks. We consider ReLU neural networks subject to natural constraints on weights and input and output dimensions, which model a notion of dense connectivity. Within this setting, we demonstrate the existence of Lipschitz continuous functions that cannot be approximated by such networks. This highlights intrinsic limitations of neural networks with dense layers and motivates the use of sparse connectivity as a necessary ingredient for achieving true universality.
- Abstract（参考訳）: 本稿では,高密度ニューラルネットワークの近似能力について検討する。
普遍近似定理は、重み値に制限がない場合、十分に大きなアーキテクチャは任意の連続関数を近似することができると証明するが、高密度ニューラルネットワークはこの普遍性を持っていないことを示す。
我々の議論は、弱い正規性補題とフィードフォワードネットワークの解釈をメッセージパッシンググラフニューラルネットワークとして組み合わせたモデル圧縮アプローチに基づいている。
我々は、ReLUニューラルネットワークが重みと入出力次元の自然な制約を受けることを考慮し、密接な接続の概念をモデル化する。
この設定の中で、そのようなネットワークで近似できないリプシッツ連続函数の存在を実証する。
これは、密度の高い層を持つニューラルネットワークの固有の制限を強調し、真の普遍性を達成するために必要な要素としてスパース接続の使用を動機付けている。
関連論文リスト
- Distributionally robust approximation property of neural networks [0.0]
ニューラルネットワークがオルリッツ空間に密接であることを証明するため、従来の$Lp$-settingを超えた古典的普遍近似定理を拡張できる。
ニューラルネットワークの被覆クラスには、非ポリノミカルアクティベーション関数を持つフィードフォワードニューラルネットワーク、ReLUアクティベーション関数を持つ深い狭いネットワーク、関数入力ニューラルネットワークなど、広く使われているアーキテクチャが含まれる。
論文 参考訳（メタデータ） (2025-10-10T09:21:34Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Universal Approximation and the Topological Neural Network [0.0]
トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。
また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
論文 参考訳（メタデータ） (2023-05-26T05:28:10Z) - Universal Approximation Property of Fully Convolutional Neural Networks
with Zero Padding [10.295288663157393]
CNNはテンソル-テンソルマッピングとして機能し、入力データの空間構造を保存する。
入力値と出力値の両方が同じ空間形状を示す場合、CNNは任意の連続関数を近似することができることを示す。
また、深い狭いCNNがテンソル-テンソル関数としてUAPを持っていることも確認した。
論文 参考訳（メタデータ） (2022-11-18T02:04:16Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳（メタデータ） (2020-07-11T18:19:50Z) - Approximation smooth and sparse functions by deep neural networks
without saturation [0.6396288020763143]
本稿では,スムーズかつスパースな関数を近似するために,3つの層を隠蔽したディープニューラルネットワークを構築することを目的とする。
構成したディープネットは, 滑らかかつスパースな関数を制御可能な自由パラメータで近似することで, 最適近似率に達することを証明した。
論文 参考訳（メタデータ） (2020-01-13T09:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。