論文の概要: Training Stiff Neural Ordinary Differential Equations with Explicit Exponential Integration Methods

• arxiv url: http://arxiv.org/abs/2412.01181v1
• Date: Mon, 02 Dec 2024 06:40:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:25.272999
• Title: Training Stiff Neural Ordinary Differential Equations with Explicit Exponential Integration Methods
• Title（参考訳）: 明示的指数積分法を用いた厳密なニューラル正規微分方程式の訓練
• Authors: Colby Fronk, Linda Petzold,
• Abstract要約: 剛常微分方程式(ODE)は多くの科学や工学の分野で一般的である。 標準的なニューラルODEアプローチは、厳密なシステムを正確に学習するのに苦労する。 本稿では、明示的な指数積分法を探求することによって、これまでの研究を拡大する。
• 参考スコア（独自算出の注目度）: 3.941173292703699
• License:
• Abstract: Stiff ordinary differential equations (ODEs) are common in many science and engineering fields, but standard neural ODE approaches struggle to accurately learn these stiff systems, posing a significant barrier to widespread adoption of neural ODEs. In our earlier work, we addressed this challenge by utilizing single-step implicit methods for solving stiff neural ODEs. While effective, these implicit methods are computationally costly and can be complex to implement. This paper expands on our earlier work by exploring explicit exponential integration methods as a more efficient alternative. We evaluate the potential of these explicit methods to handle stiff dynamics in neural ODEs, aiming to enhance their applicability to a broader range of scientific and engineering problems. We found the integrating factor Euler (IF Euler) method to excel in stability and efficiency. While implicit schemes failed to train the stiff Van der Pol oscillator, the IF Euler method succeeded, even with large step sizes. However, IF Euler's first-order accuracy limits its use, leaving the development of higher-order methods for stiff neural ODEs an open research problem.
• Abstract（参考訳）: 厳密な常微分方程式(ODE)は多くの科学や工学分野において一般的であるが、標準的なニューラルODEアプローチはこれらの厳密なシステムを正確に学習するのに苦労し、ニューラルODEの普及に大きな障壁となる。 先程の研究では、厳密なニューラルネットワークを解くための1ステップの暗黙的手法を用いることで、この問題に対処した。 効果はあるものの、これらの暗黙の手法は計算コストが高く、実装が複雑である。 本稿では、より効率的な代替手段として、明示的な指数積分法を探求することによって、初期の研究を拡大する。 我々は、これらの明示的な手法がニューラルネットワークにおける剛体力学を扱う可能性を評価し、より広い範囲の科学的・工学的問題への適用性を高めることを目的としている。 その結果, 安定度と効率性に優れた積分係数 (IF Euler) 法が得られた。 暗黙のスキームは硬いファンデルポル発振器を訓練しなかったが、IFオイラー法は大きなステップサイズでも成功した。 しかし、IF Eulerの1次精度は使用を制限し、硬質ニューラルネットワークの高次手法の開発はオープンな研究課題となった。

関連論文リスト

• Efficient, Accurate and Stable Gradients for Neural ODEs [3.79830302036482]
  本稿では高次かつ数値的に安定な代数的可逆解器のクラスを示す。 この構造は自然にニューラルCDEとSDEの数値スキームにまで拡張される。
  論文  参考訳（メタデータ） (2024-10-15T14:36:05Z)
• Training Stiff Neural Ordinary Differential Equations with Implicit Single-Step Methods [3.941173292703699]
  通常の微分方程式(ODE)の剛系は多くの科学や工学の分野で普及している。 標準的なニューラルODEアプローチは、それらを学ぶのに苦労する。 本稿では,1ステップの暗黙的スキームに基づくニューラルネットワークによる剛性処理手法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T01:08:17Z)
• Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
  ニューラルネットワークの訓練を高速化する代替手法を提案する。 我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。 また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
  論文  参考訳（メタデータ） (2023-08-21T11:31:15Z)
• Accelerated primal-dual methods with enlarged step sizes and operator learning for nonsmooth optimal control problems [3.1006429989273063]
  本稿では,異なる種類の変数を個別に扱える原始双対法の適用に焦点をあてる。 ステップサイズが大きい高速化された原始双対法では、元の原始双対法を数値的に高速化しながら、その収束を厳密に証明することができる。 演算子学習アクセラレーションのために、関連するPDEのためのディープニューラルネットワークサロゲートモデルを構築する。
  論文  参考訳（メタデータ） (2023-07-01T10:39:07Z)
• On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
  我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs [16.516974867571175]
  本稿では、近位演算子を利用した異なる順序の暗黙のODEソルバを用いたニューラルODEの学習について考察する。 近似的暗黙解法は、数値安定性と計算効率において明示的解法よりも優れていることを保証している。
  論文  参考訳（メタデータ） (2022-04-19T02:55:10Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
  トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T17:44:50Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。