論文の概要: Theory of learning of high-dimensional controlled non-linear dynamical systems (I): models and methods

• arxiv url: http://arxiv.org/abs/2606.07247v2
• Date: Thu, 11 Jun 2026 15:21:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 13:39:59.484979
• Title: Theory of learning of high-dimensional controlled non-linear dynamical systems (I): models and methods
• Title（参考訳）: 高次元制御非線形力学系の学習理論(I):モデルと方法
• Authors: Pierfrancesco Urbani,
• Abstract要約: 本稿では,オンライン勾配降下法を用いて学習したニューラルネットワークのモデルについて理論的に基礎づけたモデルについて紹介する。 我々は、これらのモデルのトレーニング力学を、力学平均場理論と高次元極限における学習曲線を導出することで解決する。
• 参考スコア（独自算出の注目度）: 1.6413754973916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural ordinary differential equations (neural ODEs) have rapidly gained prominence as a powerful and unifying framework for conceptualizing artificial neural networks, elegantly connecting the continuous-time modeling of dynamical systems with the discrete, data-driven paradigm of modern deep learning. Beyond their practical advantages they offer fresh theoretical insights into the training and generalization properties of neural networks. The distinctive feature of this framework is its dual dynamical nature: inference dynamics, which govern the ODE evolution during forward computation, and training dynamics, which control the optimization of model parameters. This makes neural ODEs a particularly well-suited theoretical framework for studying a large variety of settings such as multi-layer neural networks (ResNets for example), autoregressive models (with next-token generation dynamics), generative models, and recurrent neural networks in theoretical neuroscience. In this work, we introduce a theoretically grounded class of models for studying neural ODEs trained via online stochastic gradient descent. We solve the training dynamics of these models via dynamical mean field theory and derive learning curves in the high-dimensional limit.
• Abstract（参考訳）: ニューラル常微分方程式(ニューラルODE)は、ニューラルネットワークを概念化するための強力で統一的なフレームワークとして急速に有名になり、動的システムの連続時間モデリングと現代のディープラーニングの離散的データ駆動パラダイムをエレガントに結合している。 実用上の優位性以外にも、ニューラルネットワークのトレーニングと一般化特性に関する新たな理論的洞察を提供する。 このフレームワークの特筆すべき特徴は、前方計算中にODEの進化を管理する推論力学と、モデルパラメータの最適化を制御するトレーニング力学である。 これにより、ニューラルネットワークは、多層ニューラルネットワーク(ResNetsなど)、自己回帰モデル(次世代のダイナミクスを持つ)、生成モデル、理論神経科学におけるリカレントニューラルネットワークなど、さまざまな設定を研究するための、特に適した理論フレームワークとなる。 そこで本研究では,オンライン確率勾配勾配から学習したニューラルなODEのモデルについて,理論的に基礎を成すモデルについて紹介する。 我々は、これらのモデルのトレーニング力学を、力学平均場理論と高次元極限における学習曲線を導出することで解決する。

関連論文リスト

• Deep Neural Networks Inspired by Differential Equations [32.63347759387102]
  ディープラーニングはコンピュータビジョン、科学計算、動的システムといった分野において重要な技術となっている。 ニューラルネットワークは、理論的理解、解釈可能性、一般化に関連する課題に永続的に直面する。 本稿では、ディファレンシャル方程式にインスパイアされたディープニューラルネットワークと動的モデリング手法について広範なレビューを行う。
  論文  参考訳（メタデータ） (2025-10-09T04:08:23Z)
• Machine Learning and Control: Foundations, Advances, and Perspectives [0.0]
  重畳制御性やアンサンブル制御性といった概念は、ディープニューラルネットワークの分類と表現特性に新たな洞察を与えることを示す。 また、動的ニューラルネットワークと静的ニューラルネットワークの関係についても検討する。 偏微分方程式の文脈で長い間確立されてきた拡散過程の古典的性質が、現代の生成人工知能の成功を説明するのにどのように貢献するかを述べる。
  論文  参考訳（メタデータ） (2025-09-30T10:47:26Z)
• High-order expansion of Neural Ordinary Differential Equations flows [4.4569182855550755]
  イベントグラデーション上のニューラルODEダイナミクスの厳密な数学的記述を提供する高階微分に基づくフレームワークであるイベントトランジションを紹介する。 本研究は,イベントトリガー型ニューラルディファレンス方程式のより深い理論的基礎と,複雑なシステム力学を説明する数学的構造に寄与する。
  論文  参考訳（メタデータ） (2025-04-02T08:57:34Z)
• Position: Solve Layerwise Linear Models First to Understand Neural Dynamical Phenomena (Neural Collapse, Emergence, Lazy/Rich Regime, and Grokking) [0.8130739369606821]
  機械学習では、階層的な線形モデルはニューラルネットワークのダイナミクスを単純化した表現として機能する。 これらのモデルは動的フィードバックの原則に従い、レイヤが相互に統治し、互いの進化を増幅する方法を記述する。
  論文  参考訳（メタデータ） (2025-02-28T12:52:11Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Constructing Neural Network-Based Models for Simulating Dynamical Systems [59.0861954179401]
  データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。 本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。 基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
  論文  参考訳（メタデータ） (2021-11-02T10:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。