論文の概要: Efficient Training of Physics-enhanced Neural ODEs via Direct Collocation and Nonlinear Programming

• arxiv url: http://arxiv.org/abs/2505.03552v1
• Date: Tue, 06 May 2025 14:04:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.410878
• Title: Efficient Training of Physics-enhanced Neural ODEs via Direct Collocation and Nonlinear Programming
• Title（参考訳）: 直接コロケーションと非線形プログラミングによる物理強調型ニューラルネットワークの効率的な学習
• Authors: Linus Langenkamp, Philip Hannebohm, Bernhard Bachmann,
• Abstract要約: 本稿では,物理強調型ニューラルネットワーク(PeNODE)を動的最適化問題として表現することで,新しい学習手法を提案する。 ニューラル成分を含む全モデルは、レジェンド=ガウス=ラダウ点を反転させた高次暗黙のルンゲ=クッタ法を用いて離散化される。 この定式化は、ネットワークパラメータと状態軌跡の同時最適化を可能にし、安定性、ランタイム、精度の観点からODEソルバベースのトレーニングの重要な制限に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel approach for training Physics-enhanced Neural ODEs (PeNODEs) by expressing the training process as a dynamic optimization problem. The full model, including neural components, is discretized using a high-order implicit Runge-Kutta method with flipped Legendre-Gauss-Radau points, resulting in a large-scale nonlinear program (NLP) efficiently solved by state-of-the-art NLP solvers such as Ipopt. This formulation enables simultaneous optimization of network parameters and state trajectories, addressing key limitations of ODE solver-based training in terms of stability, runtime, and accuracy. Extending on a recent direct collocation-based method for Neural ODEs, we generalize to PeNODEs, incorporate physical constraints, and present a custom, parallelized, open-source implementation. Benchmarks on a Quarter Vehicle Model and a Van-der-Pol oscillator demonstrate superior accuracy, speed, and generalization with smaller networks compared to other training techniques. We also outline a planned integration into OpenModelica to enable accessible training of Neural DAEs.
• Abstract（参考訳）: 本稿では,物理強調型ニューラルネットワーク(PeNODE)を動的最適化問題として表現することで,新しい学習手法を提案する。 ニューラル成分を含む全モデルは、フリップしたルジャンドル・ガウス・ラダウ点を持つ高次暗黙的ルンゲ・クッタ法を用いて離散化され、その結果、Ipoptのような最先端のNLP解法によって、大規模非線形プログラム(NLP)が効率的に解かれる。 この定式化は、ネットワークパラメータと状態軌跡の同時最適化を可能にし、安定性、ランタイム、精度の観点からODEソルバベースのトレーニングの重要な制限に対処する。 近年のニューラルODEの直接コロケーションに基づく手法を拡張して,PeNODEを一般化し,物理的制約を取り入れ,独自に並列化されたオープンソース実装を提案する。 四輪車モデルとVan-der-Pol発振器のベンチマークでは、他のトレーニング手法と比較して、より小さなネットワークでの精度、速度、一般化が優れている。 また、Neural DAEのアクセス可能なトレーニングを可能にするために、OpenModelicaへの統合も計画しています。

関連論文リスト

• Training Neural ODEs Using Fully Discretized Simultaneous Optimization [2.290491821371513]
  ニューラルネットワークの正規微分方程式(Neural ODEs)の学習には、各エポックにおける微分方程式の解法が必要であるため、計算コストが高い。 特に、コロケーションに基づく完全に離散化された定式化を採用し、大規模な非線形最適化にIPOPT-aソルバを用いる。 この結果から,(コロケーションをベースとした)同時ニューラルODE訓練パイプラインの可能性が示唆された。
  論文  参考訳（メタデータ） (2025-02-21T18:10:26Z)
• Which Optimizer Works Best for Physics-Informed Neural Networks and Kolmogorov-Arnold Networks? [1.8175282137722093]
  我々は,バーガーズ,アレン・カシンスキー,ギンズバーグ・ランダウ方程式を含む,重要な挑戦的線形・剛性・多スケール非線形PDEについてPINNとPIKANを比較した。 PINN や PIKAN で一般的に用いられている他の機能拡張を使わずに改善点を明らかにした。
  論文  参考訳（メタデータ） (2025-01-22T21:19:42Z)
• Characteristic Performance Study on Solving Oscillator ODEs via Soft-constrained Physics-informed Neural Network with Small Data [6.3295494018089435]
  本稿では,物理インフォームドニューラルネットワーク(PINN),従来のニューラルネットワーク(NN),および微分方程式(DE)に関する従来の数値離散化法を比較した。 我々は,ソフト制約のPINNアプローチに注目し,その数学的枠組みと計算フローを正規Dsと部分Dsの解法として定式化した。 我々は、PINNのDeepXDEベースの実装が、トレーニングにおいて軽量コードであり、効率的なだけでなく、CPU/GPUプラットフォーム間で柔軟なことを実証した。
  論文  参考訳（メタデータ） (2024-08-19T13:02:06Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• Optimal Transport Based Refinement of Physics-Informed Neural Networks [0.0]
  我々は、最適輸送(OT)の概念に基づく偏微分方程式(PDE)の解法として、よく知られた物理情報ニューラルネットワーク(PINN)の改良戦略を提案する。 PINNの解法は、完全接続された病理のスペクトルバイアス、不安定な勾配、収束と精度の難しさなど、多くの問題に悩まされている。 本稿では,既存の PINN フレームワークを補完する OT-based sample を用いて,Fokker-Planck-Kolmogorov Equation (FPKE) を解くための新しいトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-26T02:51:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。