論文の概要: Nonlinear functional regression by functional deep neural network with kernel embedding

• arxiv url: http://arxiv.org/abs/2401.02890v2
• Date: Mon, 12 May 2025 14:30:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.538664
• Title: Nonlinear functional regression by functional deep neural network with kernel embedding
• Title（参考訳）: カーネル埋め込みを用いた関数型ディープニューラルネットワークによる非線形機能回帰
• Authors: Zhongjie Shi, Jun Fan, Linhao Song, Ding-Xuan Zhou, Johan A. K. Suykens,
• Abstract要約: 本稿では,適応型・離散化不変次元減少法による機能的ディープニューラルネットワークを提案する。 様々な入力関数空間にまたがる非線形滑らかな関数の近似の比例率を導出する。 シミュレーションと実データの両方で数値実験を行い、機能ネットの有効性と利点を実証する。
• 参考スコア（独自算出の注目度）: 18.927592350748682
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, deep learning has been widely applied in functional data analysis (FDA) with notable empirical success. However, the infinite dimensionality of functional data necessitates an effective dimension reduction approach for functional learning tasks, particularly in nonlinear functional regression. In this paper, we introduce a functional deep neural network with an adaptive and discretization-invariant dimension reduction method. Our functional network architecture consists of three parts: first, a kernel embedding step that features an integral transformation with an adaptive smooth kernel; next, a projection step that utilizes eigenfunction bases based on a projection Mercer kernel for the dimension reduction; and finally, a deep ReLU neural network is employed for the prediction. Explicit rates of approximating nonlinear smooth functionals across various input function spaces by our proposed functional network are derived. Additionally, we conduct a generalization analysis for the empirical risk minimization (ERM) algorithm applied to our functional net, by employing a novel two-stage oracle inequality and the established functional approximation results. Ultimately, we conduct numerical experiments on both simulated and real datasets to demonstrate the effectiveness and benefits of our functional net.
• Abstract（参考訳）: 近年、深層学習は、顕著な経験的成功を伴う機能的データ分析(FDA)に広く応用されている。 しかし、関数データの無限次元性は、特に非線形関数回帰において、関数学習タスクに有効な次元削減アプローチを必要とする。 本稿では,適応型・離散化不変次元減少法を応用した機能的ディープニューラルネットワークを提案する。 機能的ネットワークアーキテクチャは、3つの部分から構成される: まず、適応的滑らかなカーネルと積分変換を特徴とするカーネル埋め込みステップ、次に、投影マーサーカーネルをベースとした固有関数ベースを利用した投影ステップ、そして最後に、深いReLUニューラルネットワークを用いて予測を行う。 提案する関数ネットワークによる様々な入力関数空間における非線形スムーズな関数の近似の明示的速度を導出する。 さらに,新たな2段階のオラクル不等式と確立された機能近似結果を用いて,経験的リスク最小化(ERM)アルゴリズムの一般化分析を行った。 最終的には、シミュレーションと実データの両方で数値実験を行い、機能ネットの有効性と利点を実証する。

関連論文リスト

• An Efficient Approach to Regression Problems with Tensor Neural Networks [5.345144592056051]
  本稿では、非パラメトリック回帰問題に対処するテンソルニューラルネットワーク(TNN)を提案する。 TNNは従来のFeed-Forward Networks (FFN) や Radial Basis Function Networks (RBN) よりも優れた性能を示している。 このアプローチにおける重要な革新は、統計回帰とTNNフレームワーク内の数値積分の統合である。
  論文  参考訳（メタデータ） (2024-06-14T03:38:40Z)
• Deep Sketched Output Kernel Regression for Structured Prediction [21.93695380726788]
  カーネルによる損失は、構造化された出力予測タスクを定義するための原則化された方法を提供する。 我々は、構造化出力予測タスクを解決するためにニューラルネットワークをトレーニングする方法の課題に取り組む。
  論文  参考訳（メタデータ） (2024-06-13T15:56:55Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Deep Neural Network Classifier for Multi-dimensional Functional Data [4.340040784481499]
  我々は,多次元関数型データを分類するFDNN(Functional Deep Neural Network)と呼ばれる新しい手法を提案する。 具体的には、将来のデータ関数のクラスラベルを予測するために使用されるトレーニングデータの原則コンポーネントに基づいて、ディープニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2022-05-17T19:22:48Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• CDiNN -Convex Difference Neural Networks [0.8122270502556374]
  reluアクティベーション関数を持つニューラルネットワークは、普遍関数近似が非スムース関数として関数マッピングを学ぶことが示されている。 ICNNと呼ばれる新しいニューラルネットワークアーキテクチャは、凸入力として出力を学習する。
  論文  参考訳（メタデータ） (2021-03-31T17:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。