論文の概要: Global universal approximation of functional input maps on weighted
spaces
- arxiv url: http://arxiv.org/abs/2306.03303v3
- Date: Fri, 1 Mar 2024 02:17:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-04 14:29:36.432507
- Title: Global universal approximation of functional input maps on weighted
spaces
- Title(参考訳): 重み付き空間上の関数入力写像の大域的普遍近似
- Authors: Christa Cuchiero, Philipp Schmocker, Josef Teichmann
- Abstract要約: 無限次元の重み付き空間上で定義されたいわゆる関数型入力ニューラルネットワークを導入し、無限次元の出力空間にも値を導入する。
連続函数に対する重み付き空間上の大域的普遍近似結果が、コンパクト集合上の通常の近似を超えていることを証明する。
署名核のヒルベルト核空間の再現は、ある種のガウス過程のキャメロン・マルティン空間であることを強調する。
- 参考スコア(独自算出の注目度): 3.8059763597999012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce so-called functional input neural networks defined on a possibly
infinite dimensional weighted space with values also in a possibly infinite
dimensional output space. To this end, we use an additive family to map the
input weighted space to the hidden layer, on which a non-linear scalar
activation function is applied to each neuron, and finally return the output
via some linear readouts. Relying on Stone-Weierstrass theorems on weighted
spaces, we can prove a global universal approximation result on weighted spaces
for continuous functions going beyond the usual approximation on compact sets.
This then applies in particular to approximation of (non-anticipative) path
space functionals via functional input neural networks. As a further
application of the weighted Stone-Weierstrass theorem we prove a global
universal approximation result for linear functions of the signature. We also
introduce the viewpoint of Gaussian process regression in this setting and
emphasize that the reproducing kernel Hilbert space of the signature kernels
are Cameron-Martin spaces of certain Gaussian processes. This paves a way
towards uncertainty quantification for signature kernel regression.
- Abstract(参考訳): 無限次元の重み付き空間上で定義されたいわゆる関数型入力ニューラルネットワークを導入し、無限次元の出力空間にも値を導入する。
この目的のために,入力重み付けされた空間を隠れた層にマッピングするために添加群を用い,非線形スカラー活性化関数を各ニューロンに適用し,最後にいくつかの線形読み出しによって出力を返す。
重み付き空間上のストーン・ワイエルシュトラスの定理に基づき、連続函数の重み付き空間に対する大域的普遍近似がコンパクト集合上の通常の近似を超えることを証明できる。
これは特に関数型入力ニューラルネットワークによる(予測的でない)経路空間汎関数の近似に適用される。
重み付きストーン・ワイエルシュトラスの定理のさらなる応用として、シグネチャの線型関数に対する大域的普遍近似結果が証明される。
また、ガウス過程回帰の観点をこの設定で導入し、署名核の再生核ヒルベルト空間がある種のガウス過程のキャメロン・マルティン空間であることを強調する。
これはシグネチャカーネル回帰の不確実性定量化への道を開く。
関連論文リスト
- Piecewise Linear Functions Representable with Infinite Width Shallow
ReLU Neural Networks [0.0]
我々は,このような無限幅のニューラルネットワークで表現可能なすべての連続的片方向線形関数が,有限幅の浅いReLUニューラルネットワークとして表現可能であることを,オンジーらの予想を証明した。
論文 参考訳(メタデータ) (2023-07-25T15:38:18Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳(メタデータ) (2023-02-14T23:50:53Z) - Continuous percolation in a Hilbert space for a large system of qubits [58.720142291102135]
パーコレーション遷移は無限クラスターの出現によって定義される。
ヒルベルト空間の指数的に増加する次元性は、有限サイズの超球面による被覆を非効率にすることを示す。
コンパクトな距離空間におけるパーコレーション遷移への我々のアプローチは、他の文脈での厳密な処理に有用である。
論文 参考訳(メタデータ) (2022-10-15T13:53:21Z) - Computationally Efficient PAC RL in POMDPs with Latent Determinism and
Conditional Embeddings [97.12538243736705]
大規模部分観測可能決定プロセス(POMDP)の関数近似を用いた強化学習に関する研究
我々のアルゴリズムは、大規模POMDPに確実にスケールする。
論文 参考訳(メタデータ) (2022-06-24T05:13:35Z) - Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。
p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。
古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
論文 参考訳(メタデータ) (2021-10-28T17:11:38Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳(メタデータ) (2021-04-05T18:02:04Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳(メタデータ) (2021-02-20T10:14:37Z) - Quantitative Rates and Fundamental Obstructions to Non-Euclidean
Universal Approximation with Deep Narrow Feed-Forward Networks [3.8073142980733]
我々は,「深い幾何学的フィードフォワードニューラルネットワーク」に必要な狭い層数を定量化する。
グローバルとローカルの両方のユニバーサル近似保証は、null-homotopic関数を近似する場合にのみ一致することが分かりました。
論文 参考訳(メタデータ) (2021-01-13T23:29:40Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳(メタデータ) (2020-08-16T16:34:33Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳(メタデータ) (2020-07-28T09:31:56Z) - Approximation with Neural Networks in Variable Lebesgue Spaces [1.0152838128195465]
本稿では、可変ルベーグ空間におけるニューラルネットワークによる普遍近似特性について述べる。
空間の指数関数が有界となると、任意の所望の精度で全ての関数を浅いニューラルネットワークで近似できることを示す。
論文 参考訳(メタデータ) (2020-07-08T14:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。