論文の概要: Neural networks in non-metric spaces
- arxiv url: http://arxiv.org/abs/2406.09310v1
- Date: Thu, 13 Jun 2024 16:44:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 16:45:33.088904
- Title: Neural networks in non-metric spaces
- Title（参考訳）: 非計量空間におけるニューラルネットワーク
- Authors: Luca Galimberti,
- Abstract要約: 我々は、入力空間と出力空間の広大なクラスに対して、いくつかの普遍近似定理を証明した。
ニューラルネットワークアーキテクチャは、任意の精度で「有限次元」サブスペースに投影可能であることを示す。
結果として得られるニューラルネットワークアーキテクチャは、関数データに基づく予測タスクに適用できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Leveraging the infinite dimensional neural network architecture we proposed in arXiv:2109.13512v4 and which can process inputs from Fr\'echet spaces, and using the universal approximation property shown therein, we now largely extend the scope of this architecture by proving several universal approximation theorems for a vast class of input and output spaces. More precisely, the input space $\mathfrak X$ is allowed to be a general topological space satisfying only a mild condition ("quasi-Polish"), and the output space can be either another quasi-Polish space $\mathfrak Y$ or a topological vector space $E$. Similarly to arXiv:2109.13512v4, we show furthermore that our neural network architectures can be projected down to "finite dimensional" subspaces with any desirable accuracy, thus obtaining approximating networks that are easy to implement and allow for fast computation and fitting. The resulting neural network architecture is therefore applicable for prediction tasks based on functional data. To the best of our knowledge, this is the first result which deals with such a wide class of input/output spaces and simultaneously guarantees the numerical feasibility of the ensuing architectures. Finally, we prove an obstruction result which indicates that the category of quasi-Polish spaces is in a certain sense the correct category to work with if one aims at constructing approximating architectures on infinite-dimensional spaces $\mathfrak X$ which, at the same time, have sufficient expressive power to approximate continuous functions on $\mathfrak X$, are specified by a finite number of parameters only and are "stable" with respect to these parameters.
- Abstract（参考訳）: arXiv:2109.13512v4で提案した無限次元ニューラルネットワークアーキテクチャを活用し、Fr'echet空間からの入力を処理し、それを示す普遍近似特性を用いることで、入力および出力空間の広大なクラスに対する普遍近似定理を証明し、このアーキテクチャの範囲を大きく広げる。
より正確には、入力空間 $\mathfrak X$ は、穏やかな条件 (quasi-Polish) のみを満たす一般的な位相空間であり、出力空間は別の準ポーランド空間 $\mathfrak Y$ あるいは位相ベクトル空間 $E$ のいずれかである。
arXiv:2109.13512v4と同様に、我々のニューラルネットワークアーキテクチャが任意の精度で「有限次元」部分空間に投影できることを示し、実装が容易で、高速な計算とフィッティングを可能にする近似ネットワークを得る。
結果として得られるニューラルネットワークアーキテクチャは、関数データに基づく予測タスクに適用できる。
我々の知る限り、これはこのような幅広い入力/出力空間を扱う最初の結果であり、同時に続くアーキテクチャの数値的実現性を保証する。
最後に、準ポーランド空間の圏が、無限次元空間上のアーキテクチャを構築することを目的としている場合、ある意味で正しい圏であることを示す閉塞結果が証明される。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Multi-layer random features and the approximation power of neural networks [4.178980693837599]
再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。
NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
論文 参考訳（メタデータ） (2024-04-26T14:57:56Z) - An Approximation Theory for Metric Space-Valued Functions With A View
Towards Deep Learning [25.25903127886586]
任意のポーランド計量空間 $mathcalX$ と $mathcalY$ の間の連続写像の普遍函数近似器を構築する。
特に、必要なディラック測度数は $mathcalX$ と $mathcalY$ の構造によって決定されることを示す。
論文 参考訳（メタデータ） (2023-04-24T16:18:22Z) - Exponential Separations in Symmetric Neural Networks [48.80300074254758]
我々は、対称なNetworkparencitesantoro 2017simple ArchitectureをDeepSetsparencitezaheerdeep Architectureの自然な一般化と見なしている。
解析活性化関数の制限の下で、次元が$N$の集合に作用する対称函数を$D$で構成する。
論文 参考訳（メタデータ） (2022-06-02T19:45:10Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。
p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。
古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
論文 参考訳（メタデータ） (2021-10-28T17:11:38Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Statistically Meaningful Approximation: a Case Study on Approximating
Turing Machines with Transformers [50.85524803885483]
本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。
回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
論文 参考訳（メタデータ） (2021-07-28T04:28:55Z) - Quantitative Rates and Fundamental Obstructions to Non-Euclidean
Universal Approximation with Deep Narrow Feed-Forward Networks [3.8073142980733]
我々は,「深い幾何学的フィードフォワードニューラルネットワーク」に必要な狭い層数を定量化する。
グローバルとローカルの両方のユニバーサル近似保証は、null-homotopic関数を近似する場合にのみ一致することが分かりました。
論文 参考訳（メタデータ） (2021-01-13T23:29:40Z) - Non-Euclidean Universal Approximation [4.18804572788063]
ニューラルネットワークの入力層と出力層の修正は、多くの場合、最も実践的な学習タスクの特異性を満たすために必要である。
アーキテクチャの連続関数をコンパクトな上で一様に近似する能力を保った特徴写像と読み出し写像を記述した一般的な条件を示す。
論文 参考訳（メタデータ） (2020-06-03T15:38:57Z) - Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。
非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。
実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
論文 参考訳（メタデータ） (2020-03-07T01:56:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。