論文の概要: The Influence of the Memory Capacity of Neural DDEs on the Universal Approximation Property

• arxiv url: http://arxiv.org/abs/2505.07244v2
• Date: Fri, 06 Jun 2025 13:27:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:42.969632
• Title: The Influence of the Memory Capacity of Neural DDEs on the Universal Approximation Property
• Title（参考訳）: ニューラルDDEの記憶容量が普遍近似特性に及ぼす影響
• Authors: Christian Kuehn, Sara-Viola Kuntz,
• Abstract要約: 本稿では,ニューラルDDEにおけるメモリ容量が普遍近似特性に与える影響について検討する。 Ktau$のメモリ容量が十分小さい場合、ニューラルDDEのダイナミクスはニューラルODEによって近似できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Ordinary Differential Equations (Neural ODEs), which are the continuous-time analog of Residual Neural Networks (ResNets), have gained significant attention in recent years. Similarly, Neural Delay Differential Equations (Neural DDEs) can be interpreted as an infinite depth limit of Densely Connected Residual Neural Networks (DenseResNets). In contrast to traditional ResNet architectures, DenseResNets are feed-forward networks that allow for shortcut connections across all layers. These additional connections introduce memory in the network architecture, as typical in many modern architectures. In this work, we explore how the memory capacity in neural DDEs influences the universal approximation property. The key parameter for studying the memory capacity is the product $K \tau$ of the Lipschitz constant and the delay of the DDE. In the case of non-augmented architectures, where the network width is not larger than the input and output dimensions, neural ODEs and classical feed-forward neural networks cannot have the universal approximation property. We show that if the memory capacity $K\tau$ is sufficiently small, the dynamics of the neural DDE can be approximated by a neural ODE. Consequently, non-augmented neural DDEs with a small memory capacity also lack the universal approximation property. In contrast, if the memory capacity $K\tau$ is sufficiently large, we can establish the universal approximation property of neural DDEs for continuous functions. If the neural DDE architecture is augmented, we can expand the parameter regions in which universal approximation is possible. Overall, our results show that by increasing the memory capacity $K\tau$, the infinite-dimensional phase space of DDEs with positive delay $\tau>0$ is not sufficient to guarantee a direct jump transition to universal approximation, but only after a certain memory threshold, universal approximation holds.
• Abstract（参考訳）: 近年,Residual Neural Networks(ResNets)の連続的なアナログであるNeural Ordinary Differential Equations(Neural ODEs)が注目されている。 同様に、ニューラル遅延微分方程式(ニューラルDDE)は、Densely Connected Residual Neural Networks(DenseResNets)の無限深さ極限と解釈できる。 従来のResNetアーキテクチャとは対照的に、DenseResNetsはすべてのレイヤにわたるショートカット接続を可能にするフィードフォワードネットワークである。 これらの追加接続は、現代の多くのアーキテクチャで典型的なように、ネットワークアーキテクチャにおけるメモリを導入します。 本研究では,ニューラルDDEにおけるメモリ容量が普遍近似特性に与える影響について検討する。 メモリ容量を研究するための重要なパラメータは、リプシッツ定数の積 $K \tau$ と DDE の遅延である。 非拡張アーキテクチャでは、ネットワーク幅が入力と出力の次元より大きくない場合、ニューラルネットワークと古典的なフィードフォワードニューラルネットワークは普遍的な近似特性を持つことができない。 メモリ容量$K\tau$が十分小さい場合、ニューラルDDEのダイナミクスはニューラルODEによって近似できることを示す。 その結果、メモリ容量の少ない非拡張型ニューラルDDEも、普遍的な近似特性を欠いている。 対照的に、K\tau$のメモリ容量が十分に大きい場合、連続関数に対するニューラルDDEの普遍近似特性を確立することができる。 ニューラルDDEアーキテクチャが拡張された場合、普遍近似が可能なパラメータ領域を拡張することができる。 全体として、メモリ容量を$K\tau$にすることで、DDEの無限次元位相空間を正の遅延$\tau>0$で増加させることで、普遍近似への直接ジャンプを保証できないが、あるメモリ閾値の後にのみ、普遍近似が成立することを示す。

関連論文リスト

• Neural Fractional Differential Equations [2.812395851874055]
  FDE(Fractional Differential Equations)は、科学や工学において複雑なシステムをモデル化するための重要なツールである。 我々は、FDEをデータのダイナミックスに調整する新しいディープニューラルネットワークアーキテクチャであるNeural FDEを提案する。
  論文  参考訳（メタデータ） (2024-03-05T07:45:29Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• LordNet: An Efficient Neural Network for Learning to Solve Parametric Partial Differential Equations without Simulated Data [47.49194807524502]
  エンタングルメントをモデル化するためのチューナブルで効率的なニューラルネットワークであるLordNetを提案する。 ポアソン方程式と(2Dおよび3D)ナビエ・ストークス方程式を解く実験は、長距離の絡み合いがロードネットによってうまくモデル化できることを示した。
  論文  参考訳（メタデータ） (2022-06-19T14:41:08Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。