論文の概要: Training Neural ODEs Using Fully Discretized Simultaneous Optimization
- arxiv url: http://arxiv.org/abs/2502.15642v1
- Date: Fri, 21 Feb 2025 18:10:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-24 16:09:26.282867
- Title: Training Neural ODEs Using Fully Discretized Simultaneous Optimization
- Title（参考訳）: 完全離散化同時最適化を用いたニューラルネットワークの訓練
- Authors: Mariia Shapovalova, Calvin Tsay,
- Abstract要約: ニューラルネットワークの正規微分方程式(Neural ODEs)の学習には、各エポックにおける微分方程式の解法が必要であるため、計算コストが高い。
特に、コロケーションに基づく完全に離散化された定式化を採用し、大規模な非線形最適化にIPOPT-aソルバを用いる。
この結果から,(コロケーションをベースとした)同時ニューラルODE訓練パイプラインの可能性が示唆された。
- 参考スコア（独自算出の注目度）: 2.290491821371513
- License:
- Abstract: Neural Ordinary Differential Equations (Neural ODEs) represent continuous-time dynamics with neural networks, offering advancements for modeling and control tasks. However, training Neural ODEs requires solving differential equations at each epoch, leading to high computational costs. This work investigates simultaneous optimization methods as a faster training alternative. In particular, we employ a collocation-based, fully discretized formulation and use IPOPT--a solver for large-scale nonlinear optimization--to simultaneously optimize collocation coefficients and neural network parameters. Using the Van der Pol Oscillator as a case study, we demonstrate faster convergence compared to traditional training methods. Furthermore, we introduce a decomposition framework utilizing Alternating Direction Method of Multipliers (ADMM) to effectively coordinate sub-models among data batches. Our results show significant potential for (collocation-based) simultaneous Neural ODE training pipelines.
- Abstract（参考訳）: ニューラル正規微分方程式(Neural Ordinary Differential Equations、Neural ODE)は、ニューラルネットワークによる連続時間ダイナミクスを表し、モデリングと制御タスクの進歩を提供する。
しかし、ニューラルネットワークの訓練には各エポックでの微分方程式の解法が必要であるため、計算コストが高い。
本研究は,高速な学習手段としての同時最適化手法について検討する。
特に、コロケーションに基づく完全に離散化された定式化を採用し、大規模な非線形最適化のための解法であるIPOPTを用いて、コロケーション係数とニューラルネットワークパラメータを同時に最適化する。
ケーススタディとしてVan der Pol Oscillatorを用いて、従来の訓練方法と比較してより高速な収束を示す。
さらに,データバッチ間のサブモデルを効果的にコーディネートするために,ALMM(Alternating Direction Method of Multipliers)を用いた分解フレームワークを提案する。
この結果から,(コロケーションをベースとした)同時ニューラルODE訓練パイプラインの可能性が示唆された。
関連論文リスト
- PMNN:Physical Model-driven Neural Network for solving time-fractional
differential equations [17.66402435033991]
時間差分方程式を解くために, 革新的物理モデル駆動ニューラルネットワーク (PMNN) 法を提案する。
ディープニューラルネットワーク(DNN)と分数微分の近似を効果的に組み合わせる。
論文 参考訳（メタデータ） (2023-10-07T12:43:32Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Homotopy-based training of NeuralODEs for accurate dynamics discovery [0.0]
我々は,同期とホモトピー最適化に基づくニューラルノードの新しいトレーニング手法を開発した。
モデルダイナミクスとトレーニングデータとを同期させることで、もともと不規則なロスランドスケープを味わうことを示す。
本手法は,トレーニングエポックの半数以下を必要としながら,競争力やより良いトレーニング損失を達成する。
論文 参考訳（メタデータ） (2022-10-04T06:32:45Z) - TO-FLOW: Efficient Continuous Normalizing Flows with Temporal
Optimization adjoint with Moving Speed [12.168241245313164]
連続正規化フロー (CNFs) は任意の複素分布と等方ガウス分布の間の可逆写像を構成する。
ニューラルODEトレーニングの複雑さが増しているため、大規模なデータセットでは処理できない。
本稿では,ニューラル・オード・トレーニングの前方伝播の進化時間を最適化し,時間的最適化を提案する。
論文 参考訳（メタデータ） (2022-03-19T14:56:41Z) - Unsupervised Reservoir Computing for Solving Ordinary Differential
Equations [1.6371837018687636]
通常の微分方程式(ODE)を満たす近似解を発見することができるエコー状態のリカレントニューラルネットワーク
ベイジアン最適化を用いて高次元ハイパーパラメータ空間における最適集合を効率よく発見し、1つの集合がロバストであり、異なる初期条件と時間範囲のODEを解くことができることを示す。
論文 参考訳（メタデータ） (2021-08-25T18:16:42Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z) - Accelerating Neural ODEs Using Model Order Reduction [0.0]
本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。
我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
論文 参考訳（メタデータ） (2021-05-28T19:27:09Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2021-03-15T17:26:34Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。
我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文 参考訳（メタデータ） (2020-03-11T13:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。