論文の概要: Quantitative Rates and Fundamental Obstructions to Non-Euclidean Universal Approximation with Deep Narrow Feed-Forward Networks

• arxiv url: http://arxiv.org/abs/2101.05390v2
• Date: Wed, 27 Jan 2021 08:38:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 07:48:24.424014
• Title: Quantitative Rates and Fundamental Obstructions to Non-Euclidean Universal Approximation with Deep Narrow Feed-Forward Networks
• Title（参考訳）: ディープナローフィードフォワードネットワークを用いた非ユークリッド普遍近似の定量化と基礎的障害
• Authors: Anastasis Kratsios, Leonie Papon
• Abstract要約: 我々は,「深い幾何学的フィードフォワードニューラルネットワーク」に必要な狭い層数を定量化する。 グローバルとローカルの両方のユニバーサル近似保証は、null-homotopic関数を近似する場合にのみ一致することが分かりました。
• 参考スコア（独自算出の注目度）: 3.8073142980733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By incorporating structured pairs of non-trainable input and output layers, the universal approximation property of feed-forward have recently been extended across a broad range of non-Euclidean input spaces X and output spaces Y. We quantify the number of narrow layers required for these "deep geometric feed-forward neural networks" (DGNs) to approximate any continuous function in $C(X,Y)$, uniformly on compacts. The DGN architecture is then extended to accommodate complete Riemannian manifolds, where the input and output layers are only defined locally, and we obtain local analogs of our results. In this case, we find that both the global and local universal approximation guarantees can only coincide when approximating null-homotopic functions. Consequently, we show that if Y is a compact Riemannian manifold, then there exists a function that cannot be uniformly approximated on large compact subsets of X. Nevertheless, we obtain lower-bounds of the maximum diameter of any geodesic ball in X wherein our local universal approximation results hold. Applying our results, we build universal approximators between spaces of non-degenerate Gaussian measures. We also obtain a quantitative version of the universal approximation theorem for classical deep narrow feed-forward networks with general activation functions.
• Abstract（参考訳）: 学習不能な入力層と出力層を構造化することにより、フィードフォワードの普遍近似特性は、最近、ユークリッド入力空間 X と出力空間 Y の広い範囲にわたって拡張されている。 我々は、これらの「深部幾何フィードフォワードニューラルネットワーク」(DGN)に必要な狭い層数を定量化し、任意の連続関数をC(X,Y)$で均一にコンパクトに近似する。 DGN アーキテクチャは、入力層と出力層が局所的にのみ定義されるような完全リーマン多様体に対応するように拡張され、その結果の局所的なアナログが得られる。 この場合、大域的および局所的普遍的近似の保証は、ヌルホモトピー関数の近似時にのみ一致することが分かる。 したがって、Y がコンパクトリーマン多様体であれば、X の大きなコンパクト部分集合に対して一様に近似できない函数が存在することを示す。 それでも、X 内の任意の測地球の最大径の低い値を得ることができ、そこでは局所的普遍近似結果が成立する。 結果を適用して、非退化ガウス測度の空間間の普遍近似器を構築する。 また,一般活性化関数を持つ古典的深狭フィードフォワードネットワークに対する普遍近似定理の定量的バージョンを得る。

関連論文リスト

• Universal approximation results for neural networks with non-polynomial activation function over non-compact domains [3.3379026542599934]
  ユークリッド空間の非コンパクト部分集合上の関数空間内のニューラルネットワークに対する普遍近似結果を導出する。 非ポリノミカルアクティベーション関数を持つニューラルネットワークにより、十分に正規かつ可積分なフーリエ変換を持つ関数を近似するための次元非依存の速度を提供する。
  論文  参考訳（メタデータ） (2024-10-18T09:53:20Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Global universal approximation of functional input maps on weighted spaces [3.8059763597999012]
  無限次元の重み付き空間上で定義されたいわゆる関数型入力ニューラルネットワークを導入し、無限次元の出力空間にも値を導入する。 連続函数に対する重み付き空間上の大域的普遍近似結果が、コンパクト集合上の通常の近似を超えていることを証明する。 署名核のヒルベルト核空間の再現は、ある種のガウス過程のキャメロン・マルティン空間であることを強調する。
  論文  参考訳（メタデータ） (2023-06-05T23:06:32Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Optimal 1-Wasserstein Distance for WGANs [2.1174215880331775]
  有限標本とレジームの両方において、WGAN(Wasserstein GANs)を徹底的に解析する。 半離散状態における最適輸送理論の新たな結果を導出する。
  論文  参考訳（メタデータ） (2022-01-08T13:04:03Z)
• Federated Functional Gradient Boosting [75.06942944563572]
  フェデレーション学習における機能最小化に関する研究 FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
  論文  参考訳（メタデータ） (2021-03-11T21:49:19Z)
• Universal Approximation Property of Neural Ordinary Differential Equations [19.861764482790544]
  我々は NODE が一定の条件下で連続写像に対して$Lp$-universal approximator を形成することを示す。 また、それらのより強い近似特性、すなわち、大きな微分同相類を近似する$sup$-ユニバーサリティを示す。
  論文  参考訳（メタデータ） (2020-12-04T05:53:21Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)
• Non-Euclidean Universal Approximation [4.18804572788063]
  ニューラルネットワークの入力層と出力層の修正は、多くの場合、最も実践的な学習タスクの特異性を満たすために必要である。 アーキテクチャの連続関数をコンパクトな上で一様に近似する能力を保った特徴写像と読み出し写像を記述した一般的な条件を示す。
  論文  参考訳（メタデータ） (2020-06-03T15:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。