論文の概要: Symmetry-regularized neural ordinary differential equations
- arxiv url: http://arxiv.org/abs/2311.16628v1
- Date: Tue, 28 Nov 2023 09:27:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 19:10:28.574788
- Title: Symmetry-regularized neural ordinary differential equations
- Title(参考訳): 対称性正規化神経常微分方程式
- Authors: Wenbo Hao
- Abstract要約: モデルに付随するODEとPDEのリー対称性を用いて、保存則を導出し、損失関数にそれらを加える。
損失関数に固有の構造特性を組み込むことで、トレーニング中のモデルの堅牢性と安定性を著しく向上させることができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Ordinary Differential Equations (Neural ODEs) is a class of deep
neural network models that interpret the hidden state dynamics of neural
networks as an ordinary differential equation, thereby capable of capturing
system dynamics in a continuous time framework. In this work, I integrate
symmetry regularization into Neural ODEs. In particular, I use continuous Lie
symmetry of ODEs and PDEs associated with the model to derive conservation laws
and add them to the loss function, making it physics-informed. This
incorporation of inherent structural properties into the loss function could
significantly improve robustness and stability of the model during training. To
illustrate this method, I employ a toy model that utilizes a cosine rate of
change in the hidden state, showcasing the process of identifying Lie
symmetries, deriving conservation laws, and constructing a new loss function.
- Abstract(参考訳): 神経常微分方程式(neural ordinary differential equation、neural odes)は、ニューラルネットワークの隠れ状態ダイナミクスを常微分方程式として解釈する深層ニューラルネットワークモデルの一種である。
本研究では,対称性の正規化をニューラルODEに統合する。
特に、保存法則を導出し、損失関数にそれらを加えるために、ODE と PDE の連続リー対称性を使い、物理学的に不変である。
損失関数に固有の構造特性を組み込むことで、トレーニング中のモデルの堅牢性と安定性を著しく向上させることができる。
本手法を説明するために,隠れ状態の変化のコサイン率を利用して,Lie対称性を同定し,保存法則を導出し,新たな損失関数を構築する玩具モデルを用いた。
関連論文リスト
- Neural Laplace: Learning diverse classes of differential equations in
the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。
時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。
The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文 参考訳(メタデータ) (2022-06-10T02:14:59Z) - Stabilized Neural Ordinary Differential Equations for Long-Time
Forecasting of Dynamical Systems [1.001737665513683]
衝撃やカオス力学を正確に捉えたデータ駆動モデリング手法を提案する。
我々は、線形項と非線形項を学習する2つのNNの出力を加えることで、ODEの右辺(SRH)を学習する。
具体的には、疎線形畳み込みNNを訓練して線形項と高密度完全連結非線形NNを学習し、非線形項を学習する。
論文 参考訳(メタデータ) (2022-03-29T16:10:34Z) - On Neural Differential Equations [13.503274710499971]
特に、ニューラル微分方程式(NDE)は、ニューラルネットワークと微分方程式が同じコインの両側であることを示す。
NDEは生成問題、動的システム、時系列を扱うのに適している。
NDEは高容量関数近似、モデル空間への強い先行性、不規則なデータを扱う能力、メモリ効率、そして両サイドで利用可能な豊富な理論を提供する。
論文 参考訳(メタデータ) (2022-02-04T23:32:29Z) - Cubature Kalman Filter Based Training of Hybrid Differential Equation
Recurrent Neural Network Physiological Dynamic Models [13.637931956861758]
ニューラルネットワーク近似を用いて、未知の常微分方程式を既知のODEで近似する方法を示す。
その結果、このRBSEによるNNパラメータのトレーニングは、バックプロパゲーションによるニューラルネットワークのトレーニングよりも優れた結果(測定/状態推定精度)が得られることが示唆された。
論文 参考訳(メタデータ) (2021-10-12T15:38:13Z) - Accelerating Neural ODEs Using Model Order Reduction [0.0]
本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。
我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
論文 参考訳(メタデータ) (2021-05-28T19:27:09Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳(メタデータ) (2021-03-23T09:32:06Z) - Time-Reversal Symmetric ODE Network [138.02741983098454]
時間反転対称性は古典力学や量子力学においてしばしば保持される基本的な性質である。
本稿では,通常の微分方程式(ODE)ネットワークがこの時間反転対称性にどの程度よく適合しているかを測定する新しい損失関数を提案する。
時間反転対称性を完全に持たないシステムであっても, TRS-ODEN はベースラインよりも優れた予測性能が得られることを示す。
論文 参考訳(メタデータ) (2020-07-22T12:19:40Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳(メタデータ) (2020-06-08T09:53:35Z) - Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。
我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文 参考訳(メタデータ) (2020-05-05T01:41:46Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳(メタデータ) (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。