論文の概要: Universality of Shallow and Deep Neural Networks on Non-Euclidean Spaces
- arxiv url: http://arxiv.org/abs/2602.23381v1
- Date: Tue, 03 Feb 2026 17:46:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-09 01:20:07.943971
- Title: Universality of Shallow and Deep Neural Networks on Non-Euclidean Spaces
- Title(参考訳): 非ユークリッド空間における浅層ニューラルネットワークと深部ニューラルネットワークの普遍性
- Authors: Vugar Ismailov,
- Abstract要約: 我々は,一般的なトポロジカル空間にまたがる入力を含む,浅層および深層ニューラルネットワークのためのフレームワークを開発する。
我々は、普遍近似特性に着目し、そのようなネットワークが密集した一般的な条件を確立する。
幅制限がない場合には、古典的な近似定理を非ユークリッド的な設定に拡張する結果が得られる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a framework for shallow and deep neural networks whose inputs range over a general topological space. The model is built from a prescribed family of continuous feature maps and a fixed scalar activation function, and it reduces to multilayer feedforward networks in the Euclidean case. We focus on the universal approximation property and establish general conditions under which such networks are dense in spaces of continuous vector-valued functions on arbitrary and locally convex topological spaces. In the absence of width constraints, we obtain universality results that extend classical approximation theorems to non-Euclidean settings. A central focus of the paper is the deep narrow framework, in which the width of each hidden layer is uniformly bounded while the depth is allowed to grow. We identify conditions under which such width constrained deep networks retain universal approximation power. As a concrete example, we employ Ostrand's extension of the Kolmogorov superposition theorem to derive an explicit universality result for products of compact metric spaces, with width bounds expressed in terms of topological dimension.
- Abstract(参考訳): 我々は,一般的なトポロジカル空間にまたがる入力を含む,浅層および深層ニューラルネットワークのためのフレームワークを開発する。
このモデルは, 連続特徴写像の所定のファミリーと固定スカラー活性化関数から構築され, ユークリッドの場合, 多層フィードフォワードネットワークに還元される。
任意の凸位相空間と局所凸位相空間上の連続ベクトル値関数の空間にそのようなネットワークが密着する一般条件を確立する。
幅制限がなければ、古典近似定理を非ユークリッド的な設定に拡張する普遍性結果が得られる。
紙の中心となるのは奥行きの狭い枠組みであり、奥行きを成長させながら、各隠蔽層の幅が一様に束縛されている。
このような幅制限された深層ネットワークが普遍近似力を保っている条件を同定する。
具体的な例として、コンパクトな距離空間の積に対する明示的な普遍性の結果を導出するために、オストランドのコルモゴロフ重畳定理(英語版)(Kolmogorov superposition theorem)の拡張を用いる。
関連論文リスト
- The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization [57.37943479039033]
本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。
局所性と重量共有が根本的に変化していることが示されています。
論文 参考訳(メタデータ) (2026-03-05T04:50:51Z) - Dense Neural Networks are not Universal Approximators [53.27010448621372]
ニューラルネットワークは任意の連続関数の普遍性を持たないことを示す。
ReLUニューラルネットワークは、重みと入出力次元の自然な制約を受ける。
論文 参考訳(メタデータ) (2026-02-07T16:52:38Z) - On Universality of Deep Equivariant Networks [23.16940006451027]
等変ニューラルネットワークの普遍性は依然として稀である。
十分な深さまたは適切な読み出し層を追加することで、同変ネットワークはエントリワイド分離可能なシステム内で普遍性が得られることを示す。
論文 参考訳(メタデータ) (2025-10-17T16:51:31Z) - On the expressivity of sparse maxout networks [0.6445605125467574]
我々は、各ニューロンが前の層から一定数の入力を受け取り、最大値の活性化を利用するスパース最大値ネットワークの表現性について検討する。
このようなネットワークによって計算可能な関数と仮想ポリトープのクラスとの双対性を確立し、それらの幾何学をネットワーク表現性の疑問にリンクする。
論文 参考訳(メタデータ) (2025-10-15T20:18:18Z) - Convergence of Adam in Deep ReLU Networks via Directional Complexity and Kakeya Bounds [49.1574468325115]
Adamのような一階適応最適化手法は、現代のディープニューラルネットワークをトレーニングするためのデフォルトの選択肢である。
我々は,領域横断の制限を段階的に強化する多層改質フレームワークを開発した。
有効次元において,領域交差の数が指数的からほぼ直線的に崩壊することが証明された。
論文 参考訳(メタデータ) (2025-05-21T01:34:16Z) - On shallow feedforward neural networks with inputs from a topological space [0.0]
位相空間(TFNN)からの入力を用いたフィードフォワードニューラルネットワークの研究
浅い TFNN に対する普遍近似定理を証明し、この位相空間上で定義された任意の連続函数を近似する能力を示す。
論文 参考訳(メタデータ) (2025-04-03T06:48:46Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳(メタデータ) (2023-05-25T14:17:15Z) - Quantitative Rates and Fundamental Obstructions to Non-Euclidean
Universal Approximation with Deep Narrow Feed-Forward Networks [3.8073142980733]
我々は,「深い幾何学的フィードフォワードニューラルネットワーク」に必要な狭い層数を定量化する。
グローバルとローカルの両方のユニバーサル近似保証は、null-homotopic関数を近似する場合にのみ一致することが分かりました。
論文 参考訳(メタデータ) (2021-01-13T23:29:40Z) - Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。
そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。
我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文 参考訳(メタデータ) (2020-07-11T22:10:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。