論文の概要: Homotopy-based training of NeuralODEs for accurate dynamics discovery
- arxiv url: http://arxiv.org/abs/2210.01407v1
- Date: Tue, 4 Oct 2022 06:32:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 15:53:43.566415
- Title: Homotopy-based training of NeuralODEs for accurate dynamics discovery
- Title(参考訳): ニューロデドのホモトピーに基づく正確なダイナミクス発見のためのトレーニング
- Authors: Joon-Hyuk Ko, Hankyul Koh, Nojun Park, Wonho Jhe
- Abstract要約: 本稿では,カオスおよび数学的最適化コミュニティのツールを活用する新しいニューラルネットワーク学習アルゴリズムを提案する。
従来のトレーニング手法と比較して,本アルゴリズムはモデルアーキテクチャの変更を伴わずに,損失を劇的に低減する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conceptually, Neural Ordinary Differential Equations (NeuralODEs) pose an
attractive way to extract dynamical laws from time series data, as they are
natural extensions of the traditional differential equation-based modeling
paradigm of the physical sciences. In practice, NeuralODEs display long
training times and suboptimal results, especially for longer duration data
where they may fail to fit the data altogether. While methods have been
proposed to stabilize NeuralODE training, many of these involve placing a
strong constraint on the functional form the trained NeuralODE can take that
the actual underlying governing equation does not guarantee satisfaction. In
this work, we present a novel NeuralODE training algorithm that leverages tools
from the chaos and mathematical optimization communities - synchronization and
homotopy optimization - for a breakthrough in tackling the NeuralODE training
obstacle. We demonstrate architectural changes are unnecessary for effective
NeuralODE training. Compared to the conventional training methods, our
algorithm achieves drastically lower loss values without any changes to the
model architectures. Experiments on both simulated and real systems with
complex temporal behaviors demonstrate NeuralODEs trained with our algorithm
are able to accurately capture true long term behaviors and correctly
extrapolate into the future.
- Abstract(参考訳): 概念的には、ニューラル正規微分方程式(Neural Ordinary Differential Equations)は、物理科学の伝統的な微分方程式に基づくモデリングパラダイムの自然な拡張であるため、時系列データから動的法則を抽出する魅力的な方法である。
実際には、neuralodesは長いトレーニング時間と、特にデータに完全に適合しない長期データに対して、最適以下の結果を表示する。
neuralodeのトレーニングを安定化する手法が提案されているが、その多くが、トレーニングされたneuralodeの機能形式に強い制約を課すことで、実際の基盤となる支配方程式が満足度を保証できないようにする。
本研究では,カオスおよび数学的最適化コミュニティ(同期とホモトピー最適化)のツールを活用して,ニューラルネットワークトレーニング障害に対処する新しいニューラルネットワークトレーニングアルゴリズムを提案する。
ニューラルネットワークの効果的なトレーニングにはアーキテクチャの変更が不要であることを示す。
従来のトレーニング手法と比較して,本アルゴリズムはモデルアーキテクチャの変更を伴わずに,損失を大幅に低減する。
複雑な時間的振る舞いを持つシミュレーションシステムと実システムの両方における実験により、アルゴリズムで訓練されたニューロデドは、真の長期的行動を正確に捉え、未来を正しく推定できることを示した。
関連論文リスト
- Semi-Supervised Learning of Dynamical Systems with Neural Ordinary
Differential Equations: A Teacher-Student Model Approach [10.20098335268973]
TS-NODEは、NODEで動的システムのモデリングを行うための、最初の半教師付きアプローチである。
複数の動的システムモデリングタスクにおいて,ベースラインのNeural ODEモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-10-19T19:17:12Z) - Latent Neural ODEs with Sparse Bayesian Multiple Shooting [13.104556034767025]
長い軌道上でのニューラルODEなどの動的モデルのトレーニングは、モデルトレーニングを実際に動作させるためには、軌道分割のような様々なトリックを使用する必要がある難しい問題である。
本稿では,並列に最適化されたトラジェクトリを管理可能なショートセグメントに分割する,ニューラルネットワークの多射法を提案する。
複数の大規模ベンチマークデータセット上で、効率的で安定したトレーニングと最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2022-10-07T11:36:29Z) - Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。
ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。
ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
論文 参考訳(メタデータ) (2022-04-09T22:07:34Z) - EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。
メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文 参考訳(メタデータ) (2022-02-21T18:59:03Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳(メタデータ) (2021-06-24T01:40:17Z) - Accelerating Neural ODEs Using Model Order Reduction [0.0]
本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。
我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
論文 参考訳(メタデータ) (2021-05-28T19:27:09Z) - DyNODE: Neural Ordinary Differential Equations for Dynamics Modeling in
Continuous Control [0.0]
本稿では,ニューラル常微分方程式の枠組みに制御を組み込むことにより,システムの基盤となる力学を捉える新しい手法を提案する。
以上の結果から,アクター批判強化学習アルゴリズムと組み合わせた単純なDyNODEアーキテクチャが,標準ニューラルネットワークより優れていることが示唆された。
論文 参考訳(メタデータ) (2020-09-09T12:56:58Z) - Model-based Reinforcement Learning for Semi-Markov Decision Processes
with Neural ODEs [30.36381338938319]
ニューラル常微分方程式(ODE)を用いた連続時間力学のモデリングのための2つの解を提案する。
我々のモデルは、連続時間力学を正確に特徴付け、少量のデータを用いて高性能なポリシーを開発することができる。
各種連続時間領域における手法の有効性を実験的に実証した。
論文 参考訳(メタデータ) (2020-06-29T17:21:43Z) - Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。
我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文 参考訳(メタデータ) (2020-03-11T13:15:57Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳(メタデータ) (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。