論文の概要: Homotopy-based training of NeuralODEs for accurate dynamics discovery
- arxiv url: http://arxiv.org/abs/2210.01407v5
- Date: Sat, 27 May 2023 16:22:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 03:34:09.700577
- Title: Homotopy-based training of NeuralODEs for accurate dynamics discovery
- Title（参考訳）: ニューロデドのホモトピーに基づく正確なダイナミクス発見のためのトレーニング
- Authors: Joon-Hyuk Ko, Hankyul Koh, Nojun Park, Wonho Jhe
- Abstract要約: 我々は,同期とホモトピー最適化に基づくニューラルノードの新しいトレーニング手法を開発した。
モデルダイナミクスとトレーニングデータとを同期させることで、もともと不規則なロスランドスケープを味わうことを示す。
本手法は,トレーニングエポックの半数以下を必要としながら,競争力やより良いトレーニング損失を達成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Ordinary Differential Equations (NeuralODEs) present an attractive way
to extract dynamical laws from time series data, as they bridge neural networks
with the differential equation-based modeling paradigm of the physical
sciences. However, these models often display long training times and
suboptimal results, especially for longer duration data. While a common
strategy in the literature imposes strong constraints to the NeuralODE
architecture to inherently promote stable model dynamics, such methods are
ill-suited for dynamics discovery as the unknown governing equation is not
guaranteed to satisfy the assumed constraints. In this paper, we develop a new
training method for NeuralODEs, based on synchronization and homotopy
optimization, that does not require changes to the model architecture. We show
that synchronizing the model dynamics and the training data tames the
originally irregular loss landscape, which homotopy optimization can then
leverage to enhance training. Through benchmark experiments, we demonstrate our
method achieves competitive or better training loss while often requiring less
than half the number of training epochs compared to other model-agnostic
techniques. Furthermore, models trained with our method display better
extrapolation capabilities, highlighting the effectiveness of our method.
- Abstract（参考訳）: ニューラル常微分方程式(NeuralODEs)は、物理科学の微分方程式に基づくモデリングパラダイムでニューラルネットワークを橋渡しし、時系列データから動的法則を抽出する魅力的な方法である。
しかし、これらのモデルは長いトレーニング時間と、特に長い持続時間データに対して最適でない結果を示すことが多い。
文献における一般的な戦略はニューロデドアーキテクチャに強い制約を課し、本質的に安定なモデルダイナミクスを促進するが、未知の支配方程式が仮定された制約を満たすことが保証されていないため、そのような手法はダイナミクスの発見には不向きである。
本稿では,モデルアーキテクチャの変更を必要とせず,同期とホモトピー最適化に基づくニューラルオードの新しい学習法を提案する。
モデルダイナミクスとトレーニングデータの同期は、当初不規則な損失環境を弱めており、ホモトピー最適化によってトレーニングを強化することができる。
ベンチマーク実験により,本手法は,他のモデル非依存手法に比べて半数未満のトレーニングエポックを必要とする場合が多いが,競争力やトレーニング損失が向上することを示す。
さらに,本手法で学習したモデルでは補間能力が向上し,提案手法の有効性が強調された。
関連論文リスト
- Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。
絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
論文 参考訳（メタデータ） (2024-10-28T15:54:50Z) - Towards Efficient Modelling of String Dynamics: A Comparison of State Space and Koopman based Deep Learning Methods [8.654571696634825]
State Space Models (SSM) と Koopman に基づくディープラーニング手法は、線形および非線形の剛弦の力学をモデル化する。
以上の結果から,提案したクープマンモデルが,長周期モデリングにおける非線形ケースにおいて,他の既存手法と同等以上の性能を示すことが示唆された。
本研究は、これらの手法と過去の手法の比較概要を提供し、モデル改善のための革新的な戦略を導入することにより、力学系の物理モデリングに関する洞察を貢献する。
論文 参考訳（メタデータ） (2024-08-29T15:55:27Z) - Semi-Supervised Learning of Dynamical Systems with Neural Ordinary
Differential Equations: A Teacher-Student Model Approach [10.20098335268973]
TS-NODEは、NODEで動的システムのモデリングを行うための、最初の半教師付きアプローチである。
複数の動的システムモデリングタスクにおいて,ベースラインのNeural ODEモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-10-19T19:17:12Z) - Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。
ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。
ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
論文 参考訳（メタデータ） (2022-04-09T22:07:34Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳（メタデータ） (2021-06-24T01:40:17Z) - Accelerating Neural ODEs Using Model Order Reduction [0.0]
本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。
我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
論文 参考訳（メタデータ） (2021-05-28T19:27:09Z) - DyNODE: Neural Ordinary Differential Equations for Dynamics Modeling in
Continuous Control [0.0]
本稿では,ニューラル常微分方程式の枠組みに制御を組み込むことにより,システムの基盤となる力学を捉える新しい手法を提案する。
以上の結果から,アクター批判強化学習アルゴリズムと組み合わせた単純なDyNODEアーキテクチャが,標準ニューラルネットワークより優れていることが示唆された。
論文 参考訳（メタデータ） (2020-09-09T12:56:58Z) - Model-based Reinforcement Learning for Semi-Markov Decision Processes
with Neural ODEs [30.36381338938319]
ニューラル常微分方程式(ODE)を用いた連続時間力学のモデリングのための2つの解を提案する。
我々のモデルは、連続時間力学を正確に特徴付け、少量のデータを用いて高性能なポリシーを開発することができる。
各種連続時間領域における手法の有効性を実験的に実証した。
論文 参考訳（メタデータ） (2020-06-29T17:21:43Z) - Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。
我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文 参考訳（メタデータ） (2020-03-11T13:15:57Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。