論文の概要: Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics

• arxiv url: http://arxiv.org/abs/2106.04166v2
• Date: Wed, 9 Jun 2021 14:30:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 10:47:49.141448
• Title: Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics
• Title（参考訳）: 学習ダイナミクスのためのプレトレーニングニューラルディファレンシャル演算子付きノードの統合
• Authors: Shiqi Gong, Qi Meng, Yue Wang, Lijun Wu, Wei Chen, Zhi-Ming Ma, Tie-Yan Liu
• Abstract要約: ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
• 参考スコア（独自算出の注目度）: 73.77459272878025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning dynamics governed by differential equations is crucial for predicting and controlling the systems in science and engineering. Neural Ordinary Differential Equation (NODE), a deep learning model integrated with differential equations, learns the dynamics directly from the samples on the trajectory and shows great promise in the scientific field. However, the training of NODE highly depends on the numerical solver, which can amplify numerical noise and be unstable, especially for ill-conditioned dynamical systems. In this paper, to reduce the reliance on the numerical solver, we propose to enhance the supervised signal in learning dynamics. Specifically, beyond learning directly from the trajectory samples, we pre-train a neural differential operator (NDO) to output an estimation of the derivatives to serve as an additional supervised signal. The NDO is pre-trained on a class of symbolic functions, and it learns the mapping between the trajectory samples of these functions to their derivatives. We provide theoretical guarantee on that the output of NDO can well approximate the ground truth derivatives by proper tuning the complexity of the library. To leverage both the trajectory signal and the estimated derivatives from NDO, we propose an algorithm called NDO-NODE, in which the loss function contains two terms: the fitness on the true trajectory samples and the fitness on the estimated derivatives that are output by the pre-trained NDO. Experiments on various of dynamics show that our proposed NDO-NODE can consistently improve the forecasting accuracy.
• Abstract（参考訳）: 微分方程式に支配される学習ダイナミクスは、科学と工学のシステムの予測と制御に不可欠である。 微分方程式と統合された深層学習モデルであるneural ordinary differential equation (node)は、軌道上のサンプルから直接ダイナミクスを学び、科学分野で大きな期待を示す。 しかし、NODEの訓練は数値解法に大きく依存しており、特に不調な力学系では数値ノイズを増幅し不安定である。 本稿では,数値解法への依存を減らすために,動的学習における教師付き信号の強化を提案する。 具体的には、軌道サンプルから直接学習するだけでなく、神経微分演算子(ndo)を事前学習して、追加の教師付き信号として機能する誘導体の推定を出力する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌道サンプルとそれらの微分の間のマッピングを学ぶ。 ndo の出力はライブラリの複雑さを適切に調整することで基底真理微分を十分に近似できるという理論的保証を提供する。 軌道信号とNDOからの推定導関数の両方を活用するために,損失関数は真の軌道サンプルに対する適合度と,事前学習したNDOが出力する推定導関数に対する適合度という2つの項を含む,NDO-NODEと呼ばれるアルゴリズムを提案する。 種々の力学実験により,提案したNDO-NODEは予測精度を一貫して向上できることが示された。

関連論文リスト

• Characteristic Performance Study on Solving Oscillator ODEs via Soft-constrained Physics-informed Neural Network with Small Data [6.3295494018089435]
  本稿では,物理インフォームドニューラルネットワーク(PINN),従来のニューラルネットワーク(NN),および微分方程式(DE)に関する従来の数値離散化法を比較した。 我々は,ソフト制約のPINNアプローチに注目し,その数学的枠組みと計算フローを正規Dsと部分Dsの解法として定式化した。 我々は、PINNのDeepXDEベースの実装が、トレーニングにおいて軽量コードであり、効率的なだけでなく、CPU/GPUプラットフォーム間で柔軟なことを実証した。
  論文  参考訳（メタデータ） (2024-08-19T13:02:06Z)
• Linearization Turns Neural Operators into Function-Valued Gaussian Processes [23.85470417458593]
  ニューラル作用素におけるベイズの不確かさを近似する新しい枠組みを導入する。 我々の手法は関数型プログラミングからカリー化の概念の確率論的類似体と解釈できる。 我々は、異なるタイプの偏微分方程式への応用を通して、我々のアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-06-07T16:43:54Z)
• From Fourier to Neural ODEs: Flow Matching for Modeling Complex Systems [20.006163951844357]
  ニューラル常微分方程式(NODE)を学習するためのシミュレーション不要なフレームワークを提案する。 フーリエ解析を用いて、ノイズの多い観測データから時間的および潜在的高次空間勾配を推定する。 我々の手法は、トレーニング時間、ダイナミクス予測、堅牢性の観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T13:15:23Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• An unsupervised latent/output physics-informed convolutional-LSTM network for solving partial differential equations using peridynamic differential operator [0.0]
  部分微分方程式(PDE)を解く非局所相互作用をもつ非教師付き畳み込みニューラルネットワーク(NN)アーキテクチャ PDDOは、フィールド変数の微分を評価するための畳み込みフィルタとして使用される。 NNは、エンコーダ・デコーダ層とConvLSTM(Convolutional Long-Short Term Memory)層によって、より小さな潜在空間の時間力学をキャプチャする。
  論文  参考訳（メタデータ） (2022-10-21T18:09:23Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Taylor-Lagrange Neural Ordinary Differential Equations: Toward Fast Training and Evaluation of Neural ODEs [22.976119802895017]
  ニューラル常微分方程式(NODE)の学習のためのデータ駆動型アプローチを提案する。 提案手法は,低階テイラー展開のみを用いながら,適応的なステップサイズスキームと同じ精度を実現する。 一連の数値実験により、TL-NODEは最先端のアプローチよりも桁違いに高速に訓練できることが示されている。
  論文  参考訳（メタデータ） (2022-01-14T23:56:19Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。