論文の概要: Uncertainty and Structure in Neural Ordinary Differential Equations
- arxiv url: http://arxiv.org/abs/2305.13290v1
- Date: Mon, 22 May 2023 17:50:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 13:40:25.642325
- Title: Uncertainty and Structure in Neural Ordinary Differential Equations
- Title（参考訳）: 神経常微分方程式の不確かさと構造
- Authors: Katharina Ott, Michael Tiemann, Philipp Hennig
- Abstract要約: ラプラス近似のような基礎的で軽量なベイズ深層学習技術がニューラルネットワークに適用可能であることを示す。
我々は、最近提案された2つのニューラルODEフレームワークにおいて、機械的知識と不確実性量子化がどのように相互作用するかを考察する。
- 参考スコア（独自算出の注目度）: 28.12033356095061
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural ordinary differential equations (ODEs) are an emerging class of deep
learning models for dynamical systems. They are particularly useful for
learning an ODE vector field from observed trajectories (i.e., inverse
problems). We here consider aspects of these models relevant for their
application in science and engineering. Scientific predictions generally
require structured uncertainty estimates. As a first contribution, we show that
basic and lightweight Bayesian deep learning techniques like the Laplace
approximation can be applied to neural ODEs to yield structured and meaningful
uncertainty quantification. But, in the scientific domain, available
information often goes beyond raw trajectories, and also includes mechanistic
knowledge, e.g., in the form of conservation laws. We explore how mechanistic
knowledge and uncertainty quantification interact on two recently proposed
neural ODE frameworks - symplectic neural ODEs and physical models augmented
with neural ODEs. In particular, uncertainty reflects the effect of mechanistic
information more directly than the predictive power of the trained model could.
And vice versa, structure can improve the extrapolation abilities of neural
ODEs, a fact that can be best assessed in practice through uncertainty
estimates. Our experimental analysis demonstrates the effectiveness of the
Laplace approach on both low dimensional ODE problems and a high dimensional
partial differential equation.
- Abstract（参考訳）: ニューラル常微分方程式(Neural ordinary differential equations, ODE)は力学系の深層学習モデルの一種である。
これらは特に観測された軌跡(すなわち逆問題)からODEベクトル場を学ぶのに有用である。
ここでは、これらのモデルの側面を科学と工学への応用に関連づける。
科学的予測は一般に構造的不確実性の推定を必要とする。
第1の貢献として,ラプラス近似のような基礎的,軽量なベイズ的深層学習手法をニューラルネットワークに適用することで,構造的,有意義な不確かさの定量化が可能になることを示す。
しかし、科学分野では、利用可能な情報は生の軌道を超えることが多く、例えば保存法という形で機械的な知識も含んでいる。
我々は、最近提案された2つのニューラルODEフレームワーク – シンプレクティックニューラルODEと、ニューラルODEで強化された物理モデル – において、機械的知識と不確実性定量化がどのように相互作用するかを考察する。
特に不確実性は、トレーニングされたモデルの予測力よりも直接的に機械的情報の影響を反映している。
逆に、構造はニューラルなODEの補間能力を改善することができる。
実験により,ラプラス法が低次元ODE問題と高次元偏微分方程式の両方に与える影響を実証した。
関連論文リスト
- Projected Neural Differential Equations for Learning Constrained Dynamics [3.570367665112327]
本稿では,学習ベクトル場の射影を制約多様体の接空間に向けることで,ニューラル微分方程式を制約する新しい手法を提案する。
PNDEは、ハイパーパラメータを少なくしながら、既存のメソッドよりも優れています。
提案手法は、制約付き力学系のモデリングを強化する重要な可能性を示す。
論文 参考訳（メタデータ） (2024-10-31T06:32:43Z) - Neural Operators for Accelerating Scientific Simulations and Design [85.89660065887956]
Neural Operatorsとして知られるAIフレームワークは、継続的ドメインで定義された関数間のマッピングを学習するための原則的なフレームワークを提供する。
ニューラルオペレータは、計算流体力学、天気予報、物質モデリングなど、多くのアプリケーションで既存のシミュレータを拡張または置き換えることができる。
論文 参考訳（メタデータ） (2023-09-27T00:12:07Z) - Embedding Capabilities of Neural ODEs [0.0]
動的システム理論を用いたニューラルODEの入出力関係について検討する。
我々は,低次元および高次元の異なるニューラルODEアーキテクチャにおける写像の正確な埋め込みについて,いくつかの結果を証明した。
論文 参考訳（メタデータ） (2023-08-02T15:16:34Z) - Learning Neural Constitutive Laws From Motion Observations for
Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。
PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。
そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2023-04-27T17:42:24Z) - Human Trajectory Prediction via Neural Social Physics [63.62824628085961]
軌道予測は多くの分野において広く研究され、多くのモデルベースおよびモデルフリーな手法が研究されている。
ニューラル微分方程式モデルに基づく新しい手法を提案する。
我々の新しいモデル(ニューラル社会物理学またはNSP)は、学習可能なパラメータを持つ明示的な物理モデルを使用するディープニューラルネットワークである。
論文 参考訳（メタデータ） (2022-07-21T12:11:18Z) - Neural Laplace: Learning diverse classes of differential equations in
the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。
時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。
The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文 参考訳（メタデータ） (2022-06-10T02:14:59Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Distributional Gradient Matching for Learning Uncertain Neural Dynamics
Models [38.17499046781131]
本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。
我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。
数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
論文 参考訳（メタデータ） (2021-06-22T08:40:51Z) - Accelerating Neural ODEs Using Model Order Reduction [0.0]
本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。
我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
論文 参考訳（メタデータ） (2021-05-28T19:27:09Z) - Bayesian Neural Ordinary Differential Equations [0.9422623204346027]
Neural ODEs と Bayesian 推論フレームワークの統合が成功したことを実証します。
10,000枚の画像のテストアンサンブルで、後部のサンプル精度を98.5%達成します。
これにより、不確実性の確率的推定のための科学的機械学習ツールが提供される。
論文 参考訳（メタデータ） (2020-12-14T04:05:26Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。