論文の概要: On Neural Differential Equations
- arxiv url: http://arxiv.org/abs/2202.02435v1
- Date: Fri, 4 Feb 2022 23:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 15:45:18.646201
- Title: On Neural Differential Equations
- Title（参考訳）: ニューラル微分方程式について
- Authors: Patrick Kidger
- Abstract要約: 特に、ニューラル微分方程式(NDE)は、ニューラルネットワークと微分方程式が同じコインの両側であることを示す。
NDEは生成問題、動的システム、時系列を扱うのに適している。
NDEは高容量関数近似、モデル空間への強い先行性、不規則なデータを扱う能力、メモリ効率、そして両サイドで利用可能な豊富な理論を提供する。
- 参考スコア（独自算出の注目度）: 13.503274710499971
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The conjoining of dynamical systems and deep learning has become a topic of
great interest. In particular, neural differential equations (NDEs) demonstrate
that neural networks and differential equation are two sides of the same coin.
Traditional parameterised differential equations are a special case. Many
popular neural network architectures, such as residual networks and recurrent
networks, are discretisations.
NDEs are suitable for tackling generative problems, dynamical systems, and
time series (particularly in physics, finance, ...) and are thus of interest to
both modern machine learning and traditional mathematical modelling. NDEs offer
high-capacity function approximation, strong priors on model space, the ability
to handle irregular data, memory efficiency, and a wealth of available theory
on both sides.
This doctoral thesis provides an in-depth survey of the field.
Topics include: neural ordinary differential equations (e.g. for hybrid
neural/mechanistic modelling of physical systems); neural controlled
differential equations (e.g. for learning functions of irregular time series);
and neural stochastic differential equations (e.g. to produce generative models
capable of representing complex stochastic dynamics, or sampling from complex
high-dimensional distributions).
Further topics include: numerical methods for NDEs (e.g. reversible
differential equations solvers, backpropagation through differential equations,
Brownian reconstruction); symbolic regression for dynamical systems (e.g. via
regularised evolution); and deep implicit models (e.g. deep equilibrium models,
differentiable optimisation).
We anticipate this thesis will be of interest to anyone interested in the
marriage of deep learning with dynamical systems, and hope it will provide a
useful reference for the current state of the art.
- Abstract（参考訳）: 動的システムとディープラーニングの結合は、大きな関心事となっている。
特に、神経微分方程式 (neural differential equation, ndes) は、ニューラルネットワークと微分方程式が同じコインの両側であることを示す。
伝統的なパラメータ化微分方程式は特別な場合である。
残差ネットワークやリカレントネットワークなど、多くの一般的なニューラルネットワークアーキテクチャは離散化である。
NDEは生成問題、力学系、時系列(特に物理学、金融学、...)に対処するのに適しており、現代の機械学習と伝統的な数学的モデリングの両方に関心がある。
NDEは高容量関数近似、モデル空間への強い先行性、不規則なデータを扱う能力、メモリ効率、そして両サイドで利用可能な豊富な理論を提供する。
この博士論文は、この分野の詳細な調査を提供する。
トピックとしては、神経常微分方程式(例えば、物理系のハイブリッド・ニューラル・メカニック・モデリング)、神経制御微分方程式(例えば、不規則時系列の関数を学習する)、神経確率微分方程式(例えば、複雑な確率力学を表現することができる生成モデルを生成する)などがある。
NDEの数値的方法(可逆微分方程式解法、微分方程式によるバックプロパゲーション、ブラウン変換)、力学系の記号的回帰(正規化進化など)、深い暗黙的モデル(深い平衡モデル、微分可能な最適化など)。
この論文は、深層学習と力学系との結婚に関心のある人なら誰でも興味をそそられるものと期待しており、現在の芸術の状況に対する有用な参考となることを願っている。
関連論文リスト
- Neural Fractional Differential Equations [2.812395851874055]
FDE(Fractional Differential Equations)は、科学や工学において複雑なシステムをモデル化するための重要なツールである。
我々は、FDEをデータのダイナミックスに調整する新しいディープニューラルネットワークアーキテクチャであるNeural FDEを提案する。
論文 参考訳（メタデータ） (2024-03-05T07:45:29Z) - Fourier Neural Differential Equations for learning Quantum Field
Theories [57.11316818360655]
量子場理論は相互作用ハミルトニアンによって定義され、散乱行列によって実験データにリンクされる。
本稿では,NDEモデルを用いて理論,スカラー・ユーカワ理論,スカラー量子電磁力学を学習する。
理論の相互作用ハミルトニアンは、ネットワークパラメータから抽出することができる。
論文 参考訳（メタデータ） (2023-11-28T22:11:15Z) - Neural Laplace: Learning diverse classes of differential equations in
the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。
時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。
The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文 参考訳（メタデータ） (2022-06-10T02:14:59Z) - On the balance between the training time and interpretability of neural
ODE for time series modelling [77.34726150561087]
本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。
ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。
本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
論文 参考訳（メタデータ） (2022-06-07T13:49:40Z) - Physics Informed RNN-DCT Networks for Time-Dependent Partial
Differential Equations [62.81701992551728]
時間依存偏微分方程式を解くための物理インフォームド・フレームワークを提案する。
我々のモデルは離散コサイン変換を用いて空間的および反復的なニューラルネットワークを符号化する。
ナヴィエ・ストークス方程式に対するテイラー・グリーン渦解の実験結果を示す。
論文 参考訳（メタデータ） (2022-02-24T20:46:52Z) - Climate Modeling with Neural Diffusion Equations [3.8521112392276]
ニューラル常微分方程式(NODE)と拡散方程式に基づく新しい気候モデルの設計を行う。
我々の手法は、既存のベースラインを非自明なマージンで一貫して上回る。
論文 参考訳（メタデータ） (2021-11-11T01:48:46Z) - HyperPINN: Learning parameterized differential equations with
physics-informed hypernetworks [32.095262903584725]
本稿では,ハイパーネットワークを用いてパラメータ化から微分方程式を解くニューラルネットワークを学習するHyperPINNを提案する。
我々は、PDEとODEの両方の実験で、このタイプのモデルが、小さなサイズを維持する微分方程式に対するニューラルネットワークの解をもたらすことを実証した。
論文 参考訳（メタデータ） (2021-10-28T17:50:09Z) - Partial Differential Equations is All You Need for Generating Neural
Architectures -- A Theory for Physical Artificial Intelligence Systems [29.667065357274385]
統計物理学では反応拡散方程式、量子力学ではschr"odinger方程式、同軸光学ではhelmholtz方程式を一般化する。
数値解を求めるために,有限差分法を用いてNPDEを判別する。
多層パーセプトロン、畳み込みニューラルネットワーク、繰り返しニューラルネットワークなど、ディープニューラルネットワークアーキテクチャの基本構成要素が生成されます。
論文 参考訳（メタデータ） (2021-03-10T00:05:46Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。