論文の概要: An Efficient Approach to Regression Problems with Tensor Neural Networks
- arxiv url: http://arxiv.org/abs/2406.09694v2
- Date: Fri, 13 Sep 2024 02:46:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 23:07:35.886119
- Title: An Efficient Approach to Regression Problems with Tensor Neural Networks
- Title(参考訳): テンソルニューラルネットワークを用いた回帰問題の効率的な解法
- Authors: Yongxin Li, Yifan Wang, Zhongshuo Lin, Hehu Xie,
- Abstract要約: 本稿では、非パラメトリック回帰問題に対処するテンソルニューラルネットワーク(TNN)を提案する。
TNNは従来のFeed-Forward Networks (FFN) や Radial Basis Function Networks (RBN) よりも優れた性能を示している。
このアプローチにおける重要な革新は、統計回帰とTNNフレームワーク内の数値積分の統合である。
- 参考スコア(独自算出の注目度): 5.345144592056051
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper introduces a tensor neural network (TNN) to address nonparametric regression problems, leveraging its distinct sub-network structure to effectively facilitate variable separation and enhance the approximation of complex, high-dimensional functions. The TNN demonstrates superior performance compared to conventional Feed-Forward Networks (FFN) and Radial Basis Function Networks (RBN) in terms of both approximation accuracy and generalization capacity, even with a comparable number of parameters. A significant innovation in our approach is the integration of statistical regression and numerical integration within the TNN framework. This allows for efficient computation of high-dimensional integrals associated with the regression function and provides detailed insights into the underlying data structure. Furthermore, we employ gradient and Laplacian analysis on the regression outputs to identify key dimensions influencing the predictions, thereby guiding the design of subsequent experiments. These advancements make TNN a powerful tool for applications requiring precise high-dimensional data analysis and predictive modeling.
- Abstract(参考訳): 本稿では,非パラメトリック回帰問題に対処するテンソルニューラルネットワーク(TNN)を提案する。
TNNは、従来のフィードフォワードネットワーク(FFN)やラジアル基底関数ネットワーク(RBN)と比較して、近似精度と一般化能力の両方において、同じ数のパラメータであっても優れた性能を示す。
このアプローチにおける重要な革新は、統計回帰とTNNフレームワーク内の数値積分の統合である。
これにより、回帰関数に関連する高次元積分の効率的な計算が可能になり、基礎となるデータ構造に関する詳細な洞察を提供する。
さらに、回帰出力の勾配とラプラシアン解析を用いて、予測に影響を及ぼす鍵次元を同定し、その後の実験の設計を導く。
これらの進歩により、TNNは正確な高次元データ分析と予測モデリングを必要とするアプリケーションにとって強力なツールとなる。
関連論文リスト
- On the growth of the parameters of approximating ReLU neural networks [0.542249320079018]
この研究は、与えられた滑らかな関数を近似する完全連結フィードフォワードReLUニューラルネットワークの解析に焦点を当てる。
アーキテクチャの増大にともなう,従来の普遍近似特性とは対照的に,近似ネットワークのパラメータの増大が懸念される。
論文 参考訳(メタデータ) (2024-06-21T07:45:28Z) - Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳(メタデータ) (2024-01-05T16:43:39Z) - Transformed Low-Rank Parameterization Can Help Robust Generalization for
Tensor Neural Networks [32.87980654923361]
Tenor Singular Value Decomposition (t-SVD)はマルチチャネルデータ表現において大きな成功を収めた。
t-SVDがt-NNの学習行動に理論的にどう影響するかはまだ不明である。
本論文は、標準および逆向きに訓練されたt-NNの一般化誤差の上限を導出することにより、この問題に最初に答えるものである。
論文 参考訳(メタデータ) (2023-03-01T03:05:40Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - Stability and Generalization Analysis of Gradient Methods for Shallow
Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。
我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文 参考訳(メタデータ) (2022-09-19T18:48:00Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳(メタデータ) (2020-10-08T18:24:12Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - A deep learning framework for solution and discovery in solid mechanics [1.4699455652461721]
本稿では,物理情報ニューラルネットワーク(PINN)と呼ばれるディープラーニングのクラスを,固体力学の学習と発見に応用する。
本稿では, 運動量バランスと弾性の関係をPINNに組み込む方法について解説し, 線形弾性への応用について詳細に検討する。
論文 参考訳(メタデータ) (2020-02-14T08:24:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。