論文の概要: Eigen-informed NeuralODEs: Dealing with stability and convergence issues
of NeuralODEs
- arxiv url: http://arxiv.org/abs/2302.10892v1
- Date: Tue, 7 Feb 2023 14:45:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-26 13:49:33.605902
- Title: Eigen-informed NeuralODEs: Dealing with stability and convergence issues
of NeuralODEs
- Title（参考訳）: 固有インフォームドニューラルネットワーク:ニューラルネットワークの安定性と収束問題に対処する
- Authors: Tobias Thummerer, Lars Mikelsons
- Abstract要約: 本稿では,固有値に基づくODE特性の知識をニューラルネットワークの学習目的に付加する手法を提案する。
提案したトレーニングプロセスは、局所的なミニマム、不安定性、スパースなデータサンプルに対してはるかに堅牢であることを示し、トレーニング収束とパフォーマンスを改善している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Using vanilla NeuralODEs to model large and/or complex systems often fails
due two reasons: Stability and convergence. NeuralODEs are capable of
describing stable as well as instable dynamic systems. Selecting an appropriate
numerical solver is not trivial, because NeuralODE properties change during
training. If the NeuralODE becomes more stiff, a suboptimal solver may need to
perform very small solver steps, which significantly slows down the training
process. If the NeuralODE becomes to instable, the numerical solver might not
be able to solve it at all, which causes the training process to terminate.
Often, this is tackled by choosing a computational expensive solver that is
robust to instable and stiff ODEs, but at the cost of a significantly decreased
training performance. Our method on the other hand, allows to enforce ODE
properties that fit a specific solver or application-related boundary
conditions. Concerning the convergence behavior, NeuralODEs often tend to run
into local minima, especially if the system to be learned is highly dynamic
and/or oscillating over multiple periods. Because of the vanishing gradient at
a local minimum, the NeuralODE is often not capable of leaving it and converge
to the right solution. We present a technique to add knowledge of ODE
properties based on eigenvalues - like (partly) stability, oscillation
capability, frequency, damping and/or stiffness - to the training objective of
a NeuralODE. We exemplify our method at a linear as well as a nonlinear system
model and show, that the presented training process is far more robust against
local minima, instabilities and sparse data samples and improves training
convergence and performance.
- Abstract（参考訳）: 大規模および/または複雑なシステムのモデル化にバニラニューラルオードを使用すると、安定性と収束性という2つの理由から失敗することが多い。
neuralodesは安定で不安定な動的システムを記述することができる。
ニューラルネットワーク特性がトレーニング中に変化するため、適切な数値解法を選択することは簡単ではない。
ニューラルネットワークがより硬くなると、準最適解法は、非常に小さな解法ステップを実行する必要があり、トレーニングプロセスが大幅に遅くなる。
もしneuralodeが不安定になったら、数値ソルバはそれを全く解決できないかもしれないので、トレーニングプロセスは終了する。
しばしばこれは、不安定で硬いODEに対して堅牢な計算コストの高い解法を選択することで取り組まれるが、訓練性能が大幅に低下する。
一方,本手法では,特定の解法やアプリケーション関連境界条件に適合するODE特性を強制することができる。
収束挙動に関して、ニューロデドは、特に学習対象のシステムが非常に動的で、あるいは複数の周期にわたって振動している場合に、局所的なミニマにぶつかる傾向がある。
局所的な最小限の勾配が消えるため、ニューロノドはしばしばそれを残さず、正しい解に収束することができない。
本稿では,ニューラルネットワークの学習目標に,(一部)安定性,振動能力,周波数,減衰および/または剛性などの固有値に基づくode特性の知識を加える手法を提案する。
提案手法を非線形システムモデルと同様に線形に例示し,提案手法が局所最小値,不安定性,スパースデータサンプルに対してはるかに堅牢であることを示し,トレーニング収束と性能を向上させる。
関連論文リスト
- Efficient, Accurate and Stable Gradients for Neural ODEs [3.79830302036482]
本稿では高次かつ数値的に安定な代数的可逆解器のクラスを示す。
この構造は自然にニューラルCDEとSDEの数値スキームにまで拡張される。
論文 参考訳（メタデータ） (2024-10-15T14:36:05Z) - On Tuning Neural ODE for Stability, Consistency and Faster Convergence [0.0]
本研究では,Nesterov'sAccelerated gradient (NAG) を用いたODE-solverを提案する。
我々は、より速くトレーニングし、より優れた、または同等のパフォーマンスをニューラルダイオードに対して達成し、アプローチの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2023-12-04T06:18:10Z) - Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
ニューラルネットワークの訓練を高速化する代替手法を提案する。
我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。
また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
論文 参考訳（メタデータ） (2023-08-21T11:31:15Z) - Experimental study of Neural ODE training with adaptive solver for
dynamical systems modeling [72.84259710412293]
アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。
本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
論文 参考訳（メタデータ） (2022-11-13T17:48:04Z) - Neural Laplace: Learning diverse classes of differential equations in
the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。
時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。
The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文 参考訳（メタデータ） (2022-06-10T02:14:59Z) - On the balance between the training time and interpretability of neural
ODE for time series modelling [77.34726150561087]
本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。
ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。
本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
論文 参考訳（メタデータ） (2022-06-07T13:49:40Z) - Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs [16.516974867571175]
本稿では、近位演算子を利用した異なる順序の暗黙のODEソルバを用いたニューラルODEの学習について考察する。
近似的暗黙解法は、数値安定性と計算効率において明示的解法よりも優れていることを保証している。
論文 参考訳（メタデータ） (2022-04-19T02:55:10Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2021-03-15T17:26:34Z) - ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。
本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
論文 参考訳（メタデータ） (2020-07-30T11:24:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。