論文の概要: The Influence of the Memory Capacity of Neural DDEs on the Universal Approximation Property

• arxiv url: http://arxiv.org/abs/2505.07244v1
• Date: Mon, 12 May 2025 05:36:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.265791
• Title: The Influence of the Memory Capacity of Neural DDEs on the Universal Approximation Property
• Title（参考訳）: ニューラルDDEの記憶容量が普遍近似特性に及ぼす影響
• Authors: Christian Kuehn, Sara-Viola Kuntz,
• Abstract要約: 本稿では,ニューラルDDEにおけるメモリ容量が普遍近似特性に与える影響について検討する。 Ktau$のメモリ容量が十分小さい場合、ニューラルDDEのダイナミクスはニューラルODEによって近似できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Ordinary Differential Equations (Neural ODEs), which are the continuous-time analog of Residual Neural Networks (ResNets), have gained significant attention in recent years. Similarly, Neural Delay Differential Equations (Neural DDEs) can be interpreted as an infinite depth limit of Densely Connected Residual Neural Networks (DenseResNets). In contrast to traditional ResNet architectures, DenseResNets are feed-forward networks that allow for shortcut connections across all layers. These additional connections introduce memory in the network architecture, as typical in many modern architectures. In this work, we explore how the memory capacity in neural DDEs influences the universal approximation property. The key parameter for studying the memory capacity is the product $K \tau$ of the Lipschitz constant and the delay of the DDE. In the case of non-augmented architectures, where the network width is not larger than the input and output dimensions, neural ODEs and classical feed-forward neural networks cannot have the universal approximation property. We show that if the memory capacity $K\tau$ is sufficiently small, the dynamics of the neural DDE can be approximated by a neural ODE. Consequently, non-augmented neural DDEs with a small memory capacity also lack the universal approximation property. In contrast, if the memory capacity $K\tau$ is sufficiently large, we can establish the universal approximation property of neural DDEs for continuous functions. If the neural DDE architecture is augmented, we can expand the parameter regions in which universal approximation is possible. Overall, our results show that by increasing the memory capacity $K\tau$, the infinite-dimensional phase space of DDEs with positive delay $\tau>0$ is not sufficient to guarantee a direct jump transition to universal approximation, but only after a certain memory threshold, universal approximation holds.
• Abstract（参考訳）: 近年,Residual Neural Networks(ResNets)の連続的なアナログであるNeural Ordinary Differential Equations(Neural ODEs)が注目されている。 同様に、ニューラル遅延微分方程式(ニューラルDDE)は、Densely Connected Residual Neural Networks(DenseResNets)の無限深さ極限と解釈できる。 従来のResNetアーキテクチャとは対照的に、DenseResNetsはすべてのレイヤにわたるショートカット接続を可能にするフィードフォワードネットワークである。 これらの追加接続は、現代の多くのアーキテクチャで典型的なように、ネットワークアーキテクチャにおけるメモリを導入します。 本研究では,ニューラルDDEにおけるメモリ容量が普遍近似特性に与える影響について検討する。 メモリ容量を研究するための重要なパラメータは、リプシッツ定数の積 $K \tau$ と DDE の遅延である。 非拡張アーキテクチャでは、ネットワーク幅が入力と出力の次元より大きくない場合、ニューラルネットワークと古典的なフィードフォワードニューラルネットワークは普遍的な近似特性を持つことができない。 メモリ容量$K\tau$が十分小さい場合、ニューラルDDEのダイナミクスはニューラルODEによって近似できることを示す。 その結果、メモリ容量の少ない非拡張型ニューラルDDEも、普遍的な近似特性を欠いている。 対照的に、K\tau$のメモリ容量が十分に大きい場合、連続関数に対するニューラルDDEの普遍近似特性を確立することができる。 ニューラルDDEアーキテクチャが拡張された場合、普遍近似が可能なパラメータ領域を拡張することができる。 全体として、メモリ容量を$K\tau$にすることで、DDEの無限次元位相空間を正の遅延$\tau>0$で増加させることで、普遍近似への直接ジャンプを保証できないが、あるメモリ閾値の後にのみ、普遍近似が成立することを示す。

関連論文リスト

• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Global Convergence and Rich Feature Learning in $L$-Layer Infinite-Width Neural Networks under $μ$P Parametrization [66.03821840425539]
  本稿では, テンソル勾配プログラム(SGD)フレームワークを用いた$L$層ニューラルネットワークのトレーニング力学について検討する。 SGDにより、これらのネットワークが初期値から大きく逸脱する線形独立な特徴を学習できることを示す。 このリッチな特徴空間は、関連するデータ情報をキャプチャし、トレーニングプロセスの収束点が世界最小であることを保証する。
  論文  参考訳（メタデータ） (2025-03-12T17:33:13Z)
• Neural Fractional Differential Equations [2.812395851874055]
  FDE(Fractional Differential Equations)は、科学や工学において複雑なシステムをモデル化するための重要なツールである。 我々は、FDEをデータのダイナミックスに調整する新しいディープニューラルネットワークアーキテクチャであるNeural FDEを提案する。
  論文  参考訳（メタデータ） (2024-03-05T07:45:29Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Neural Generalized Ordinary Differential Equations with Layer-varying Parameters [1.3691539554014036]
  層状ニューラルGODEは標準ニューラルGODEよりも柔軟で汎用的であることを示す。 Neural-GODEは、予測精度でResNetsと互換性を持って実行しながら、計算とメモリの利点を享受する。
  論文  参考訳（メタデータ） (2022-09-21T20:02:28Z)
• LordNet: An Efficient Neural Network for Learning to Solve Parametric Partial Differential Equations without Simulated Data [47.49194807524502]
  エンタングルメントをモデル化するためのチューナブルで効率的なニューラルネットワークであるLordNetを提案する。 ポアソン方程式と(2Dおよび3D)ナビエ・ストークス方程式を解く実験は、長距離の絡み合いがロードネットによってうまくモデル化できることを示した。
  論文  参考訳（メタデータ） (2022-06-19T14:41:08Z)
• Nonlocal Kernel Network (NKN): a Stable and Resolution-Independent Deep Neural Network [23.465930256410722]
  非ローカルカーネルネットワーク(NKN)は、ディープニューラルネットワークを特徴とする解像度独立である。 NKNは、支配方程式の学習や画像の分類など、さまざまなタスクを処理できる。
  論文  参考訳（メタデータ） (2022-01-06T19:19:35Z)
• Neural Piecewise-Constant Delay Differential Equations [17.55759866368141]
  本稿では,PCDDE(Neural Piecewise-Constant Delay Differential Equations)と呼ばれる,新しい連続深度ニューラルネットワークを紹介する。 ニューラルネットワークPCDDEは,1次元の離散遅延人口動態と実世界のデータセットにおいて,既存の連続深度ニューラルネットワークフレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-04T03:44:15Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。