論文の概要: Training Stiff Neural Ordinary Differential Equations with Implicit Single-Step Methods
- arxiv url: http://arxiv.org/abs/2410.05592v1
- Date: Tue, 8 Oct 2024 01:08:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 17:48:36.339116
- Title: Training Stiff Neural Ordinary Differential Equations with Implicit Single-Step Methods
- Title(参考訳): 入射単段法による訓練剛性ニューラルディファレンシャル方程式
- Authors: Colby Fronk, Linda Petzold,
- Abstract要約: 通常の微分方程式(ODE)の剛系は多くの科学や工学の分野で普及している。
標準的なニューラルODEアプローチは、それらを学ぶのに苦労する。
本稿では,1ステップの暗黙的スキームに基づくニューラルネットワークによる剛性処理手法を提案する。
- 参考スコア(独自算出の注目度): 3.941173292703699
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Stiff systems of ordinary differential equations (ODEs) are pervasive in many science and engineering fields, yet standard neural ODE approaches struggle to learn them. This limitation is the main barrier to the widespread adoption of neural ODEs. In this paper, we propose an approach based on single-step implicit schemes to enable neural ODEs to handle stiffness and demonstrate that our implicit neural ODE method can learn stiff dynamics. This work addresses a key limitation in current neural ODE methods, paving the way for their use in a wider range of scientific problems.
- Abstract(参考訳): 通常の微分方程式(ODE)の剛体系は多くの科学や工学の分野で普及しているが、標準的なニューラルODEアプローチはそれらを学ぶのに苦労している。
この制限は、ニューラルODEの普及の主要な障壁である。
本稿では,1ステップの暗黙的スキームをベースとして,ニューラルODEが硬さを扱えるようにし,我々の暗黙的ニューラルODE法が剛性ダイナミクスを学習できることを実証する手法を提案する。
この研究は、現在のニューラルODE法における重要な制限に対処し、より広い範囲の科学的な問題でそれらを使用するための道を開く。
関連論文リスト
- Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
ニューラルネットワークの訓練を高速化する代替手法を提案する。
我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。
また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
論文 参考訳(メタデータ) (2023-08-21T11:31:15Z) - Uncertainty and Structure in Neural Ordinary Differential Equations [28.12033356095061]
ラプラス近似のような基礎的で軽量なベイズ深層学習技術がニューラルネットワークに適用可能であることを示す。
我々は、最近提案された2つのニューラルODEフレームワークにおいて、機械的知識と不確実性量子化がどのように相互作用するかを考察する。
論文 参考訳(メタデータ) (2023-05-22T17:50:42Z) - Neural Laplace: Learning diverse classes of differential equations in
the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。
時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。
The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文 参考訳(メタデータ) (2022-06-10T02:14:59Z) - Stiff Neural Ordinary Differential Equations [0.0]
我々はまず、ロバートソン問題における古典的な硬質ODEシステムにおける神経ODEの学習の課題を示す。
次に,ロバートソン問題と大気汚染問題の厳密なシステムにおける実証実験を行った。
論文 参考訳(メタデータ) (2021-03-29T05:24:56Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳(メタデータ) (2021-03-15T17:26:34Z) - Hypersolvers: Toward Fast Continuous-Depth Models [16.43439140464003]
オーバヘッドが低く、精度が理論的に保証されているODEを解くために設計されたニューラルネットワークであるハイパーソルバを導入する。
ハイパーゾルバとニューラルODEの相乗的組み合わせにより、安上がりな推論が可能となり、連続深度モデルの実用的な応用のための新しいフロンティアが解放される。
論文 参考訳(メタデータ) (2020-07-19T06:31:31Z) - STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。
提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。
本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
論文 参考訳(メタデータ) (2020-06-18T17:44:50Z) - Go with the Flow: Adaptive Control for Neural ODEs [10.265713480189484]
ニューラル制御ODE(N-CODE)と呼ばれる新しいモジュールについて述べる。
N-CODEモジュールは、初期または現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数である。
単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。
論文 参考訳(メタデータ) (2020-06-16T22:21:15Z) - Towards Understanding Normalization in Neural ODEs [71.26657499537366]
CIFAR-10 分類タスクにおいて 93% の精度を達成可能であることを示す。
これは、この問題でテストされたニューラルなODEの中で、最も高い精度で報告されている。
論文 参考訳(メタデータ) (2020-04-20T11:54:55Z) - Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。
我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文 参考訳(メタデータ) (2020-03-11T13:15:57Z) - How to train your neural ODE: the world of Jacobian and kinetic
regularization [7.83405844354125]
大規模データセット上でのニューラルODEのトレーニングは、適応的数値ODEソルバがステップサイズを非常に小さな値に洗練できるようにする必要があるため、難航していない。
最適輸送と安定性の正則化の両方を理論的に基礎的に組み合わせることで、ニューラルODEは、問題をうまく解決するすべての力学から、より単純なダイナミクスを優先する。
論文 参考訳(メタデータ) (2020-02-07T14:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。