論文の概要: Homotopy-based training of NeuralODEs for accurate dynamics discovery
- arxiv url: http://arxiv.org/abs/2210.01407v1
- Date: Tue, 4 Oct 2022 06:32:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 15:53:43.566415
- Title: Homotopy-based training of NeuralODEs for accurate dynamics discovery
- Title（参考訳）: ニューロデドのホモトピーに基づく正確なダイナミクス発見のためのトレーニング
- Authors: Joon-Hyuk Ko, Hankyul Koh, Nojun Park, Wonho Jhe
- Abstract要約: 本稿では,カオスおよび数学的最適化コミュニティのツールを活用する新しいニューラルネットワーク学習アルゴリズムを提案する。
従来のトレーニング手法と比較して,本アルゴリズムはモデルアーキテクチャの変更を伴わずに,損失を劇的に低減する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conceptually, Neural Ordinary Differential Equations (NeuralODEs) pose an
attractive way to extract dynamical laws from time series data, as they are
natural extensions of the traditional differential equation-based modeling
paradigm of the physical sciences. In practice, NeuralODEs display long
training times and suboptimal results, especially for longer duration data
where they may fail to fit the data altogether. While methods have been
proposed to stabilize NeuralODE training, many of these involve placing a
strong constraint on the functional form the trained NeuralODE can take that
the actual underlying governing equation does not guarantee satisfaction. In
this work, we present a novel NeuralODE training algorithm that leverages tools
from the chaos and mathematical optimization communities - synchronization and
homotopy optimization - for a breakthrough in tackling the NeuralODE training
obstacle. We demonstrate architectural changes are unnecessary for effective
NeuralODE training. Compared to the conventional training methods, our
algorithm achieves drastically lower loss values without any changes to the
model architectures. Experiments on both simulated and real systems with
complex temporal behaviors demonstrate NeuralODEs trained with our algorithm
are able to accurately capture true long term behaviors and correctly
extrapolate into the future.
- Abstract（参考訳）: 概念的には、ニューラル正規微分方程式(Neural Ordinary Differential Equations)は、物理科学の伝統的な微分方程式に基づくモデリングパラダイムの自然な拡張であるため、時系列データから動的法則を抽出する魅力的な方法である。
実際には、neuralodesは長いトレーニング時間と、特にデータに完全に適合しない長期データに対して、最適以下の結果を表示する。
neuralodeのトレーニングを安定化する手法が提案されているが、その多くが、トレーニングされたneuralodeの機能形式に強い制約を課すことで、実際の基盤となる支配方程式が満足度を保証できないようにする。
本研究では,カオスおよび数学的最適化コミュニティ(同期とホモトピー最適化)のツールを活用して,ニューラルネットワークトレーニング障害に対処する新しいニューラルネットワークトレーニングアルゴリズムを提案する。
ニューラルネットワークの効果的なトレーニングにはアーキテクチャの変更が不要であることを示す。
従来のトレーニング手法と比較して,本アルゴリズムはモデルアーキテクチャの変更を伴わずに,損失を大幅に低減する。
複雑な時間的振る舞いを持つシミュレーションシステムと実システムの両方における実験により、アルゴリズムで訓練されたニューロデドは、真の長期的行動を正確に捉え、未来を正しく推定できることを示した。
関連論文リスト
- Hybrid Adaptive Modeling using Neural Networks Trained with Nonlinear Dynamics Based Features [5.652228574188242]
本稿では,非線形動的モデリングから情報を明らかにし,それをデータベースモデルに組み込むことにより,標準手法から逸脱する新しいアプローチを提案する。
摂動法による非線形力学現象を明示的に取り入れることにより、予測能力はブルートフォース数値シミュレーションから得られた知識と比較してより現実的で洞察力が高い。
論文 参考訳（メタデータ） (2025-01-21T02:38:28Z) - Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。
絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
論文 参考訳（メタデータ） (2024-10-28T15:54:50Z) - Towards Efficient Modelling of String Dynamics: A Comparison of State Space and Koopman based Deep Learning Methods [8.654571696634825]
State Space Models (SSM) と Koopman に基づくディープラーニング手法は、線形および非線形の剛弦の力学をモデル化する。
以上の結果から,提案したクープマンモデルが,長周期モデリングにおける非線形ケースにおいて,他の既存手法と同等以上の性能を示すことが示唆された。
本研究は、これらの手法と過去の手法の比較概要を提供し、モデル改善のための革新的な戦略を導入することにより、力学系の物理モデリングに関する洞察を貢献する。
論文 参考訳（メタデータ） (2024-08-29T15:55:27Z) - Semi-Supervised Learning of Dynamical Systems with Neural Ordinary
Differential Equations: A Teacher-Student Model Approach [10.20098335268973]
TS-NODEは、NODEで動的システムのモデリングを行うための、最初の半教師付きアプローチである。
複数の動的システムモデリングタスクにおいて,ベースラインのNeural ODEモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-10-19T19:17:12Z) - Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。
ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。
ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
論文 参考訳（メタデータ） (2022-04-09T22:07:34Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳（メタデータ） (2021-06-24T01:40:17Z) - DyNODE: Neural Ordinary Differential Equations for Dynamics Modeling in
Continuous Control [0.0]
本稿では,ニューラル常微分方程式の枠組みに制御を組み込むことにより,システムの基盤となる力学を捉える新しい手法を提案する。
以上の結果から,アクター批判強化学習アルゴリズムと組み合わせた単純なDyNODEアーキテクチャが,標準ニューラルネットワークより優れていることが示唆された。
論文 参考訳（メタデータ） (2020-09-09T12:56:58Z) - Model-based Reinforcement Learning for Semi-Markov Decision Processes
with Neural ODEs [30.36381338938319]
ニューラル常微分方程式(ODE)を用いた連続時間力学のモデリングのための2つの解を提案する。
我々のモデルは、連続時間力学を正確に特徴付け、少量のデータを用いて高性能なポリシーを開発することができる。
各種連続時間領域における手法の有効性を実験的に実証した。
論文 参考訳（メタデータ） (2020-06-29T17:21:43Z) - Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。
我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文 参考訳（メタデータ） (2020-03-11T13:15:57Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。