論文の概要: Bayesian Neural Ordinary Differential Equations
- arxiv url: http://arxiv.org/abs/2012.07244v3
- Date: Wed, 3 Mar 2021 16:54:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-09 09:28:16.484539
- Title: Bayesian Neural Ordinary Differential Equations
- Title（参考訳）: ベイズ型神経常微分方程式
- Authors: Raj Dandekar, Karen Chung, Vaibhav Dixit, Mohamed Tarek, Aslan
Garcia-Valadez, Krishna Vishal Vemula and Chris Rackauckas
- Abstract要約: Neural ODEs と Bayesian 推論フレームワークの統合が成功したことを実証します。
10,000枚の画像のテストアンサンブルで、後部のサンプル精度を98.5%達成します。
これにより、不確実性の確率的推定のための科学的機械学習ツールが提供される。
- 参考スコア（独自算出の注目度）: 0.9422623204346027
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, Neural Ordinary Differential Equations has emerged as a powerful
framework for modeling physical simulations without explicitly defining the
ODEs governing the system, but instead learning them via machine learning.
However, the question: "Can Bayesian learning frameworks be integrated with
Neural ODE's to robustly quantify the uncertainty in the weights of a Neural
ODE?" remains unanswered. In an effort to address this question, we primarily
evaluate the following categories of inference methods: (a) The No-U-Turn MCMC
sampler (NUTS), (b) Stochastic Gradient Hamiltonian Monte Carlo (SGHMC) and (c)
Stochastic Langevin Gradient Descent (SGLD). We demonstrate the successful
integration of Neural ODEs with the above Bayesian inference frameworks on
classical physical systems, as well as on standard machine learning datasets
like MNIST, using GPU acceleration. On the MNIST dataset, we achieve a
posterior sample accuracy of 98.5% on the test ensemble of 10,000 images.
Subsequently, for the first time, we demonstrate the successful integration of
variational inference with normalizing flows and Neural ODEs, leading to a
powerful Bayesian Neural ODE object. Finally, considering a predator-prey model
and an epidemiological system, we demonstrate the probabilistic identification
of model specification in partially-described dynamical systems using universal
ordinary differential equations. Together, this gives a scientific machine
learning tool for probabilistic estimation of epistemic uncertainties.
- Abstract（参考訳）: 近年,神経常微分方程式(neural ordinary differential equation)は,システムを支配するodeを明示的に定義せず,機械学習によって学習することなく,物理シミュレーションをモデル化するための強力なフレームワークとして登場している。
しかし、「Can Bayesianの学習フレームワークはNeural ODEと統合して、Neural ODEの重みにおける不確実性をしっかりと定量化できるか?
未回答だ
a) No-U-Turn MCMC sampler (NUTS), (b) Stochastic Gradient Hamiltonian Monte Carlo (SGHMC) and (c) Stochastic Langevin Gradient Descent (SGLD)。
従来の物理システム上のベイズ推論フレームワークや,gpuアクセラレーションを用いたmnistなどの標準的な機械学習データセットと,ニューラルネットワークodeをうまく統合できることを実証する。
MNISTデータセットでは、1万枚の画像のテストアンサンブルで98.5%の後方サンプル精度が得られる。
その後, 変分推論と正規化フローとニューラル ODE との整合性を初めて実証し, 強力なベイズ型ニューラル ODE オブジェクトを導出した。
最後に,捕食-捕食モデルと疫学系を考慮して,普遍常微分方程式を用いた部分記述力学系におけるモデル仕様の確率的同定を示す。
これにより、認識的不確かさの確率的推定のための科学的機械学習ツールが提供される。
関連論文リスト
- Learning Chaotic Systems and Long-Term Predictions with Neural Jump ODEs [4.204990010424083]
パス依存型ニューラルジャンプODE (PDNJ-ODE) は、不規則な(時間内に)および潜在的に不完全(座標に関して)な、一般的なプロセスのオンライン予測モデルである。
本研究では,2つの新しいアイデアによってモデルを強化し,互いに独立してモデル設定の性能を向上させる。
同じ拡張を使用して、PDNJ-ODEが標準モデルが失敗する一般的なデータセットの長期的な予測を確実に学習することができる。
論文 参考訳（メタデータ） (2024-07-26T15:18:29Z) - Foundational Inference Models for Dynamical Systems [5.549794481031468]
我々は,ODEによって決定されると仮定される時系列データの欠落を補うという古典的な問題に対して,新たな視点を提供する。
本稿では,いくつかの(隠れた)ODEを満たすパラメトリック関数を通じて,ゼロショット時系列計算のための新しい教師付き学習フレームワークを提案する。
我々は,1と同一(事前学習)の認識モデルが,63個の異なる時系列に対してゼロショット計算を行なえることを実証的に実証した。
論文 参考訳（メタデータ） (2024-02-12T11:48:54Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Experimental study of Neural ODE training with adaptive solver for
dynamical systems modeling [72.84259710412293]
アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。
本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
論文 参考訳（メタデータ） (2022-11-13T17:48:04Z) - Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。
理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。
本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
論文 参考訳（メタデータ） (2022-10-12T06:46:38Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳（メタデータ） (2022-02-21T18:59:03Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Using scientific machine learning for experimental bifurcation analysis
of dynamic systems [2.204918347869259]
本研究は、極限サイクルを持つ物理非線形力学系に対する普遍微分方程式(UDE)モデルの訓練に焦点をあてる。
数値シミュレーションによりトレーニングデータを生成する例を考察するとともに,提案するモデリング概念を物理実験に適用する。
ニューラルネットワークとガウス過程の両方を、力学モデルと共に普遍近似器として使用し、UDEモデリングアプローチの正確性と堅牢性を批判的に評価する。
論文 参考訳（メタデータ） (2021-10-22T15:43:03Z) - Neural Stochastic Partial Differential Equations [1.2183405753834562]
物理に着想を得たニューラルアーキテクチャの2つの重要なクラスの拡張を提供するニューラルSPDEモデルを導入する。
一方、一般的な神経-通常、制御され、粗い-微分方程式モデルをすべて拡張し、入ってくる情報を処理することができる。
一方、関数空間間のマッピングをモデル化するニューラルネットワークの最近の一般化であるNeural Operatorsを拡張して、複雑なSPDEソリューション演算子を学習することができる。
論文 参考訳（メタデータ） (2021-10-19T20:35:37Z) - Cubature Kalman Filter Based Training of Hybrid Differential Equation
Recurrent Neural Network Physiological Dynamic Models [13.637931956861758]
ニューラルネットワーク近似を用いて、未知の常微分方程式を既知のODEで近似する方法を示す。
その結果、このRBSEによるNNパラメータのトレーニングは、バックプロパゲーションによるニューラルネットワークのトレーニングよりも優れた結果(測定/状態推定精度)が得られることが示唆された。
論文 参考訳（メタデータ） (2021-10-12T15:38:13Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。