論文の概要: Dense ReLU Neural Networks for Temporal-spatial Model

• arxiv url: http://arxiv.org/abs/2411.09961v1
• Date: Fri, 15 Nov 2024 05:30:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:38:55.109670
• Title: Dense ReLU Neural Networks for Temporal-spatial Model
• Title（参考訳）: 時空間モデルのための高密度ReLUニューラルネットワーク
• Authors: Zhi Zhang, Carlos Misael Madrid Padilla, Xiaokai Luo, Oscar Hernan Madrid Padilla, Daren Wang,
• Abstract要約: 非パラメトリック推定にRectified Linear Unit (ReLU) アクティベーション機能を利用する完全接続深層ニューラルネットワークに着目する。 我々は、観測された測定における時間的および空間的依存に対処するため、収束率につながる非漸近境界を導出する。 我々はまた、多様体上のデータをモデル化し、高次元データの本質的な次元性を探求することで、次元性の呪いに取り組む。
• 参考スコア（独自算出の注目度）: 13.8173644075917
• License:
• Abstract: In this paper, we focus on fully connected deep neural networks utilizing the Rectified Linear Unit (ReLU) activation function for nonparametric estimation. We derive non-asymptotic bounds that lead to convergence rates, addressing both temporal and spatial dependence in the observed measurements. By accounting for dependencies across time and space, our models better reflect the complexities of real-world data, enhancing both predictive performance and theoretical robustness. We also tackle the curse of dimensionality by modeling the data on a manifold, exploring the intrinsic dimensionality of high-dimensional data. We broaden existing theoretical findings of temporal-spatial analysis by applying them to neural networks in more general contexts and demonstrate that our proof techniques are effective for models with short-range dependence. Our empirical simulations across various synthetic response functions underscore the superior performance of our method, outperforming established approaches in the existing literature. These findings provide valuable insights into the strong capabilities of dense neural networks for temporal-spatial modeling across a broad range of function classes.
• Abstract（参考訳）: 本稿では,Rectified Linear Unit (ReLU) アクティベーション関数を非パラメトリック推定に用いた完全接続型ディープニューラルネットワークに着目した。 我々は、観測された測定における時間的および空間的依存に対処するため、収束率につながる非漸近境界を導出する。 時間と空間の依存関係を考慮することで、我々のモデルは実世界のデータの複雑さを反映し、予測性能と理論的堅牢性の両方を高めます。 我々はまた、多様体上のデータをモデル化し、高次元データの本質的な次元性を探求することで、次元性の呪いに取り組む。 我々は、より一般的な文脈でニューラルネットワークに適用することで、時間空間分析の既存の理論的知見を広げ、我々の証明技術が短距離依存モデルに有効であることを示す。 種々の合成応答関数に対する実験シミュレーションにより,本手法の優れた性能を実証し,既存の文献において確立されたアプローチよりも優れた性能を示した。 これらの発見は、広範囲の関数クラスにわたる時間空間モデリングのための高密度ニューラルネットワークの強みに関する貴重な洞察を提供する。

関連論文リスト

• Learning Delays Through Gradients and Structure: Emergence of Spatiotemporal Patterns in Spiking Neural Networks [0.06752396542927405]
  学習可能なシナプス遅延を2つのアプローチで組み込んだスパイキングニューラルネットワーク(SNN)モデルを提案する。 後者のアプローチでは、ネットワークは接続を選択してプーンし、スパース接続設定の遅延を最適化する。 本研究では,時間的データ処理のための効率的なSNNモデルを構築するために,遅延学習と動的プルーニングを組み合わせる可能性を示す。
  論文  参考訳（メタデータ） (2024-07-07T11:55:48Z)
• Autaptic Synaptic Circuit Enhances Spatio-temporal Predictive Learning of Spiking Neural Networks [23.613277062707844]
  Spiking Neural Networks (SNNs) は、生物学的ニューロンで見られる統合ファイアリーク機構をエミュレートする。 既存のSNNは、主にIntegrate-and-Fire Leaky(LIF)モデルに依存している。 本稿では,S-patioTemporal Circuit (STC) モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-01T11:17:27Z)
• Modeling Randomly Observed Spatiotemporal Dynamical Systems [7.381752536547389]
  現在利用可能なニューラルネットワークベースのモデリングアプローチは、時間と空間でランダムに収集されたデータに直面したときに不足する。 そこで我々は,このようなランダムなサンプルデータを効果的に処理する新しい手法を開発した。 我々のモデルは、システムの力学と将来の観測のタイミングと位置の両方を予測するために、償却変分推論、ニューラルディファレンシャル方程式、ニューラルポイントプロセス、暗黙のニューラル表現といった技術を統合する。
  論文  参考訳（メタデータ） (2024-06-01T09:03:32Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Theoretical analysis of deep neural networks for temporally dependent observations [1.6752182911522522]
  非線形時系列データのモデリングにおけるディープニューラルネットワークの理論的性質について検討する。 結果は、様々な数値シミュレーション設定とマクロ経済データセットへの応用を通してサポートされる。
  論文  参考訳（メタデータ） (2022-10-20T18:56:37Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Spatio-Temporal Functional Neural Networks [11.73856529960872]
  本稿では,多くの研究者によって有効性が証明された時間回帰モデルであるニューラル・ファンクショナル・ネットワーク(FNN)の2つの新しい拡張を提案する。 提案したモデルは気象分野における実用的で挑戦的な降水予測問題を解決するために展開される。
  論文  参考訳（メタデータ） (2020-09-11T21:32:35Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。