論文の概要: On Second Order Behaviour in Augmented Neural ODEs

• arxiv url: http://arxiv.org/abs/2006.07220v2
• Date: Wed, 21 Oct 2020 13:59:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 02:48:12.905017
• Title: On Second Order Behaviour in Augmented Neural ODEs
• Title（参考訳）: 拡張神経odeの2次挙動について
• Authors: Alexander Norcliffe, Cristian Bodnar, Ben Day, Nikola Simidjievski, Pietro Li\`o
• Abstract要約: 第二次ニューラルノード(ソノド)を考える 副次感度法がSONODEにどのように拡張できるかを示す。 我々は拡張NODE(Augmented NODEs)のより広範なクラスの理論的理解を拡張した。
• 参考スコア（独自算出の注目度）: 69.8070643951126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Ordinary Differential Equations (NODEs) are a new class of models that transform data continuously through infinite-depth architectures. The continuous nature of NODEs has made them particularly suitable for learning the dynamics of complex physical systems. While previous work has mostly been focused on first order ODEs, the dynamics of many systems, especially in classical physics, are governed by second order laws. In this work, we consider Second Order Neural ODEs (SONODEs). We show how the adjoint sensitivity method can be extended to SONODEs and prove that the optimisation of a first order coupled ODE is equivalent and computationally more efficient. Furthermore, we extend the theoretical understanding of the broader class of Augmented NODEs (ANODEs) by showing they can also learn higher order dynamics with a minimal number of augmented dimensions, but at the cost of interpretability. This indicates that the advantages of ANODEs go beyond the extra space offered by the augmented dimensions, as originally thought. Finally, we compare SONODEs and ANODEs on synthetic and real dynamical systems and demonstrate that the inductive biases of the former generally result in faster training and better performance.
• Abstract（参考訳）: ニューラル正規微分方程式(Neural Ordinary Differential Equations, NODE)は、無限深度アーキテクチャを通してデータを連続的に変換する新しいモデルのクラスである。 ノードの連続的な性質は、複雑な物理システムのダイナミクスを学ぶのに特に適している。 これまでの研究は主に一階ODEに焦点を当てていたが、古典物理学における多くの系の力学は二階法則によって支配されている。 本稿では,2次ニューラルネットワーク(SONODE)について考察する。 本稿では, 随伴感度法をSONODEに拡張し, 1次結合ODEの最適化が等価であり, 計算効率がよいことを示す。 さらに,拡張NODE(Augmented NODEs)のより広範なクラスに対する理論的理解を,最小限の拡張次元で高次ダイナミクスを学習できることを示すことによって拡張する。 これは、当初考えていたように、ANODEの利点が拡張次元によって提供される余分な空間を越えていることを示している。 最後に、合成力学系と実力学系におけるSONODEとANODEを比較し、前者の帰納バイアスが一般に学習の高速化と性能の向上をもたらすことを示す。

関連論文リスト

• ControlSynth Neural ODEs: Modeling Dynamical Systems with Guaranteed Convergence [1.1720409777196028]
  ニューラルネットワーク(NODE)は、時間間隔の制限なしにデータを処理できる連続時間ニューラルネットワーク(NN)である。 非常に非線形な性質にもかかわらず、収束はトラクタブル線型不等式によって保証されることを示す。 CSODEの合成において、異なるスケールで動的に同時に捕捉される可能性について学習するための余分な制御項を導入する。
  論文  参考訳（メタデータ） (2024-11-04T17:20:42Z)
• Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
  本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。 ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。 このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
  論文  参考訳（メタデータ） (2024-05-24T17:19:57Z)
• SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases [66.61789780666727]
  等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。 また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。 我々のモデルは最先端のベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-25T07:15:58Z)
• Embedding Capabilities of Neural ODEs [0.0]
  動的システム理論を用いたニューラルODEの入出力関係について検討する。 我々は,低次元および高次元の異なるニューラルODEアーキテクチャにおける写像の正確な埋め込みについて,いくつかの結果を証明した。
  論文  参考訳（メタデータ） (2023-08-02T15:16:34Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
  本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。 時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
  論文  参考訳（メタデータ） (2022-06-10T02:14:59Z)
• Heavy Ball Neural Ordinary Differential Equations [12.861233366398162]
  重球型ニューラル常微分方程式(HBNODE)を提案し,ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・オーラル・ディファレンス(NODE)のトレーニングと推論を改善する。 HBNODE には、NODE に対して実用的な利点を示す2つの特性がある。 我々は、画像分類、複雑な力学の学習、逐次モデリングなど、ベンチマークタスクにおけるHBNODEの利点を検証する。
  論文  参考訳（メタデータ） (2021-10-10T16:11:11Z)
• Modular Neural Ordinary Differential Equations [0.0]
  本稿では、各力成分を異なるモジュールで学習するモジュラニューラルODEを提案する。 これらのモデルに物理的な事前情報を容易に組み込む方法を示す。
  論文  参考訳（メタデータ） (2021-09-15T15:13:12Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。