論文の概要: On Numerical Integration in Neural Ordinary Differential Equations

• arxiv url: http://arxiv.org/abs/2206.07335v1
• Date: Wed, 15 Jun 2022 07:39:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 15:50:06.178050
• Title: On Numerical Integration in Neural Ordinary Differential Equations
• Title（参考訳）: ニューラル正規微分方程式の数値積分について
• Authors: Aiqing Zhu, Pengzhan Jin, Beibei Zhu, Yifa Tang
• Abstract要約: 本稿では,数値積分がニューラルネットワークモデルの学習に与える影響を明らかにするために,逆修正微分方程式(IMDE)を提案する。 ニューラルODEモデルのトレーニングは、真のODEではなく、IMDEの近似を実際に返すことが示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The combination of ordinary differential equations and neural networks, i.e., neural ordinary differential equations (Neural ODE), has been widely studied from various angles. However, deciphering the numerical integration in Neural ODE is still an open challenge, as many researches demonstrated that numerical integration significantly affects the performance of the model. In this paper, we propose the inverse modified differential equations (IMDE) to clarify the influence of numerical integration on training Neural ODE models. IMDE is determined by the learning task and the employed ODE solver. It is shown that training a Neural ODE model actually returns a close approximation of the IMDE, rather than the true ODE. With the help of IMDE, we deduce that (i) the discrepancy between the learned model and the true ODE is bounded by the sum of discretization error and learning loss; (ii) Neural ODE using non-symplectic numerical integration fail to learn conservation laws theoretically. Several experiments are performed to numerically verify our theoretical analysis.
• Abstract（参考訳）: 常微分方程式とニューラルネットワーク、すなわち神経常微分方程式(神経性ode)の組み合わせは、様々な角度から広く研究されてきた。 しかし、多くの研究が数値積分がモデルの性能に大きく影響することを示したため、ニューラルodeにおける数値積分の解読はまだ未解決の課題である。 本稿では,学習神経odeモデルに対する数値積分の影響を明らかにするために,逆修正微分方程式(imde)を提案する。 IMDEは、学習タスクと、使用されるODEソルバによって決定される。 ニューラルODEモデルのトレーニングは、真のODEではなく、IMDEの近似を実際に返すことが示されている。 IMDEの助けを借りて、私たちはそれを推測する。 (i)学習モデルと真のodeとの相違は、判別誤差と学習損失の合計で区切られている。 二 非シンプレクティック数値積分を用いたニューラルODEは、保存法を理論的に学ばない。 理論解析を数値的に検証するためにいくつかの実験が行われた。

関連論文リスト

• Neural Laplace for learning Stochastic Differential Equations [0.0]
  Neuralplaceは多種多様な微分方程式(DE)を学習するための統一的なフレームワークである DEの異なるクラスに対して、このフレームワークは通常の微分方程式(ODE)のクラスを学習することを目的としたニューラルネットワークに依存する他のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2024-06-07T14:29:30Z)
• Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling [72.84259710412293]
  アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。 本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
  論文  参考訳（メタデータ） (2022-11-13T17:48:04Z)
• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
  本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。 時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
  論文  参考訳（メタデータ） (2022-06-10T02:14:59Z)
• Learning ODEs via Diffeomorphisms for Fast and Robust Integration [40.52862415144424]
  微分可能な解法はニューラルネットワークの学習の中心である。 本稿では,データからODEを学習するための代替手法を提案する。 学習したODEと勾配を統合する場合、最大2桁の改善を観測する。
  論文  参考訳（メタデータ） (2021-07-04T14:32:16Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• A Probabilistic State Space Model for Joint Inference from Differential Equations and Data [23.449725313605835]
  ベイズフィルタを用いて解過程を直接句する常微分方程式 (odes) の解法の新しいクラスを示す。 その後、拡張カルマンフィルタの単一の線形複雑化パスにおいて、潜力とODE溶液のベイズ推定を近似することができるようになる。 本研究では,covid-19流行データに基づく非パラメトリックsirdモデルを訓練することにより,アルゴリズムの表現力と性能を示す。
  論文  参考訳（メタデータ） (2021-03-18T10:36:09Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
  訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。 本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
  論文  参考訳（メタデータ） (2020-07-30T11:24:05Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。