論文の概要: A Simultaneous Approach for Training Neural Differential-Algebraic Systems of Equations

• arxiv url: http://arxiv.org/abs/2504.04665v1
• Date: Mon, 07 Apr 2025 01:26:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:08:48.349344
• Title: A Simultaneous Approach for Training Neural Differential-Algebraic Systems of Equations
• Title（参考訳）: 方程式のニューラル微分代数系の同時学習法
• Authors: Laurens R. Lueg, Victor Alves, Daniel Schicksnus, John R. Kitchin, Carl D. Laird, Lorenz T. Biegler,
• Abstract要約: 我々は、未知の関係がデータから学習される方程式のニューラル微分代数系(DAE)について研究する。 ニューラルDAE問題に対して同時アプローチを適用することにより、完全に離散化された非線形最適化問題を導出する。 我々は、様々な問題設定において、精度、モデル一般化可能性、計算コストの点で有望な結果を達成する。
• 参考スコア（独自算出の注目度）: 0.4935512063616847
• License:
• Abstract: Scientific machine learning is an emerging field that broadly describes the combination of scientific computing and machine learning to address challenges in science and engineering. Within the context of differential equations, this has produced highly influential methods, such as neural ordinary differential equations (NODEs). Recent works extend this line of research to consider neural differential-algebraic systems of equations (DAEs), where some unknown relationships within the DAE are learned from data. Training neural DAEs, similarly to neural ODEs, is computationally expensive, as it requires the solution of a DAE for every parameter update. Further, the rigorous consideration of algebraic constraints is difficult within common deep learning training algorithms such as stochastic gradient descent. In this work, we apply the simultaneous approach to neural DAE problems, resulting in a fully discretized nonlinear optimization problem, which is solved to local optimality and simultaneously obtains the neural network parameters and the solution to the corresponding DAE. We extend recent work demonstrating the simultaneous approach for neural ODEs, by presenting a general framework to solve neural DAEs, with explicit consideration of hybrid models, where some components of the DAE are known, e.g. physics-informed constraints. Furthermore, we present a general strategy for improving the performance and convergence of the nonlinear programming solver, based on solving an auxiliary problem for initialization and approximating Hessian terms. We achieve promising results in terms of accuracy, model generalizability and computational cost, across different problem settings such as sparse data, unobserved states and multiple trajectories. Lastly, we provide several promising future directions to improve the scalability and robustness of our approach.
• Abstract（参考訳）: 科学機械学習は、科学と工学の課題に対処するために、科学コンピューティングと機械学習の組み合わせを広く記述する新興分野である。 微分方程式の文脈において、これは神経常微分方程式(NODE)のような非常に影響力のある方法を生み出している。 最近の研究は、DAE内の未知の関係がデータから学習される、方程式の神経微分代数系(DAE)を考えるために、この研究線を延長している。 ニューラルDAEのトレーニングは、ニューラルODEと同様、パラメータ更新毎にDAEのソリューションを必要とするため、計算コストがかかる。 さらに、確率勾配降下のような一般的なディープラーニング学習アルゴリズムでは、代数的制約の厳密な考慮が難しい。 本研究では、ニューラルネットワークパラメータと対応するDAEに対する解を同時に取得し、局所最適性に対して完全に離散化された非線形最適化問題を実現する。 我々は、ニューラルネットワークのDAEを解くための一般的なフレームワークを提示し、DAEのいくつかのコンポーネントが知られているようなハイブリッドモデル、例えば物理インフォームド制約を明示することによって、ニューラルなODEの同時的アプローチを示す最近の研究を拡張した。 さらに,Hess 項の初期化と近似のための補助的な問題を解くことにより,非線形プログラミング解法の性能と収束性を改善するための一般的な戦略を提案する。 我々は、スパースデータ、未観測状態、複数軌跡などの異なる問題設定において、精度、モデル一般化可能性、計算コストの面で有望な結果を達成する。 最後に、我々のアプローチのスケーラビリティと堅牢性を改善するために、いくつかの将来的な方向性を提供します。

関連論文リスト

• Semi-Implicit Neural Ordinary Differential Equations [5.196303789025002]
  基礎となる力学の分割可能な構造を利用する半単純ニューラルODE手法を提案する。 我々の手法は、既存のアプローチよりも大きな計算上の優位性を持つ暗黙のニューラルネットワークにつながる。
  論文  参考訳（メタデータ） (2024-12-15T20:21:02Z)
• Projected Neural Differential Equations for Learning Constrained Dynamics [3.570367665112327]
  本稿では,学習ベクトル場の射影を制約多様体の接空間に向けることで,ニューラル微分方程式を制約する新しい手法を提案する。 PNDEは、ハイパーパラメータを少なくしながら、既存のメソッドよりも優れています。 提案手法は、制約付き力学系のモデリングを強化する重要な可能性を示す。
  論文  参考訳（メタデータ） (2024-10-31T06:32:43Z)
• CGNSDE: Conditional Gaussian Neural Stochastic Differential Equation for Modeling Complex Systems and Data Assimilation [1.4322470793889193]
  条件付きニューラル微分方程式(CGNSDE)と呼ばれる新しい知識ベースおよび機械学習ハイブリッドモデリング手法を開発した。 標準的なニューラルネットワーク予測モデルとは対照的に、CGNSDEは前方予測タスクと逆状態推定問題の両方に効果的に取り組むように設計されている。
  論文  参考訳（メタデータ） (2024-04-10T05:32:03Z)
• Neural variational Data Assimilation with Uncertainty Quantification using SPDE priors [28.804041716140194]
  ディープラーニングコミュニティの最近の進歩は、ニューラルネットワークと変分データ同化フレームワークを通じて、この問題に対処することができる。 本研究では、部分微分方程式(SPDE)とガウス過程(GP)の理論を用いて状態の空間的および時間的共分散を推定する。
  論文  参考訳（メタデータ） (2024-02-02T19:18:12Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Unsupervised Legendre-Galerkin Neural Network for Stiff Partial Differential Equations [9.659504024299896]
  本稿では,Regendre-Galerkinニューラルネットワークに基づく教師なし機械学習アルゴリズムを提案する。 提案したニューラルネットワークは、境界層挙動を有する特異摂動PDEと同様に、一般的な1Dおよび2DPDEに適用される。
  論文  参考訳（メタデータ） (2022-07-21T00:47:47Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。