論文の概要: Approximation of RKHS Functionals by Neural Networks
- arxiv url: http://arxiv.org/abs/2403.12187v1
- Date: Mon, 18 Mar 2024 18:58:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 18:21:58.039104
- Title: Approximation of RKHS Functionals by Neural Networks
- Title(参考訳): ニューラルネットワークによるRKHS関数の近似
- Authors: Tian-Yi Zhou, Namjoon Suh, Guang Cheng, Xiaoming Huo,
- Abstract要約: ニューラルネットワークを用いたHilbert空間(RKHS)を再現するカーネル上の関数の近似について検討する。
逆多重四元数、ガウス、ソボレフのカーネルによって誘導される場合の明示的な誤差境界を導出する。
ニューラルネットワークが回帰マップを正確に近似できることを示すため,機能回帰に本研究の成果を適用した。
- 参考スコア(独自算出の注目度): 30.42446856477086
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Motivated by the abundance of functional data such as time series and images, there has been a growing interest in integrating such data into neural networks and learning maps from function spaces to R (i.e., functionals). In this paper, we study the approximation of functionals on reproducing kernel Hilbert spaces (RKHS's) using neural networks. We establish the universality of the approximation of functionals on the RKHS's. Specifically, we derive explicit error bounds for those induced by inverse multiquadric, Gaussian, and Sobolev kernels. Moreover, we apply our findings to functional regression, proving that neural networks can accurately approximate the regression maps in generalized functional linear models. Existing works on functional learning require integration-type basis function expansions with a set of pre-specified basis functions. By leveraging the interpolating orthogonal projections in RKHS's, our proposed network is much simpler in that we use point evaluations to replace basis function expansions.
- Abstract(参考訳): 時系列や画像などの関数データの豊富さによって、そのようなデータをニューラルネットワークに統合し、関数空間からR(関数)へのマップを学習することへの関心が高まっている。
本稿では,ニューラルネットワークを用いたカーネルヒルベルト空間(RKHS)における関数の近似について検討する。
我々は、RKHS上の関数の近似の普遍性を確立する。
具体的には、逆多重四元数、ガウス、ソボレフのカーネルによって誘導されるものに対して明示的な誤差境界を導出する。
さらに、ニューラルネットワークが一般化された汎関数線形モデルにおける回帰マップを正確に近似できることを証明し、機能回帰に本研究の成果を適用した。
関数学習に関する既存の研究は、事前定義された基底関数のセットを含む統合型基底関数の拡張を必要とする。
RKHSの直交射影を補間することにより,基本関数展開の代替として点評価を用いることで,提案するネットワークはよりシンプルになる。
関連論文リスト
- Spherical Analysis of Learning Nonlinear Functionals [10.785977740158193]
本稿では,球面上の関数の集合上で定義される関数について考察する。
深部ReLUニューラルネットワークの近似能力をエンコーダデコーダフレームワークを用いて検討した。
論文 参考訳(メタデータ) (2024-10-01T20:10:00Z) - Feature Mapping in Physics-Informed Neural Networks (PINNs) [1.9819034119774483]
本研究では, Conjugate Kernel と Neural Tangent Kernel を限定した特徴マッピング層を用いた PINN の訓練力学について検討する。
より優れた代替として,条件付き正定値ラジアル基底関数を提案する。
論文 参考訳(メタデータ) (2024-02-10T13:51:09Z) - Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳(メタデータ) (2024-01-05T16:43:39Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。
最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。
教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
論文 参考訳(メタデータ) (2022-04-30T05:31:07Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳(メタデータ) (2022-02-13T10:54:59Z) - Modern Non-Linear Function-on-Function Regression [8.231050911072755]
本稿では,ニューラルネットワークを用いた関数データに対する非線形関数オン関数回帰モデルを提案する。
FDNN(Functional Direct Neural Network)とFBNN(Functional Basis Neural Network)の2つのモデルフィッティング戦略を提案する。
論文 参考訳(メタデータ) (2021-07-29T16:19:59Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳(メタデータ) (2021-07-14T03:03:56Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳(メタデータ) (2020-07-28T09:31:56Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。