論文の概要: Symmetry-regularized neural ordinary differential equations

• arxiv url: http://arxiv.org/abs/2311.16628v1
• Date: Tue, 28 Nov 2023 09:27:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 19:10:28.574788
• Title: Symmetry-regularized neural ordinary differential equations
• Title（参考訳）: 対称性正規化神経常微分方程式
• Authors: Wenbo Hao
• Abstract要約: モデルに付随するODEとPDEのリー対称性を用いて、保存則を導出し、損失関数にそれらを加える。 損失関数に固有の構造特性を組み込むことで、トレーニング中のモデルの堅牢性と安定性を著しく向上させることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Ordinary Differential Equations (Neural ODEs) is a class of deep neural network models that interpret the hidden state dynamics of neural networks as an ordinary differential equation, thereby capable of capturing system dynamics in a continuous time framework. In this work, I integrate symmetry regularization into Neural ODEs. In particular, I use continuous Lie symmetry of ODEs and PDEs associated with the model to derive conservation laws and add them to the loss function, making it physics-informed. This incorporation of inherent structural properties into the loss function could significantly improve robustness and stability of the model during training. To illustrate this method, I employ a toy model that utilizes a cosine rate of change in the hidden state, showcasing the process of identifying Lie symmetries, deriving conservation laws, and constructing a new loss function.
• Abstract（参考訳）: 神経常微分方程式(neural ordinary differential equation、neural odes)は、ニューラルネットワークの隠れ状態ダイナミクスを常微分方程式として解釈する深層ニューラルネットワークモデルの一種である。 本研究では,対称性の正規化をニューラルODEに統合する。 特に、保存法則を導出し、損失関数にそれらを加えるために、ODE と PDE の連続リー対称性を使い、物理学的に不変である。 損失関数に固有の構造特性を組み込むことで、トレーニング中のモデルの堅牢性と安定性を著しく向上させることができる。 本手法を説明するために,隠れ状態の変化のコサイン率を利用して,Lie対称性を同定し,保存法則を導出し,新たな損失関数を構築する玩具モデルを用いた。

関連論文リスト

• A scalable generative model for dynamical system reconstruction from neuroimaging data [5.777167013394619]
  データ駆動推論は、観測された時系列の集合に基づく生成力学の推論であり、機械学習への関心が高まっている。 動的システム再構成(DSR)に特化した状態空間モデル(SSM)のトレーニング技術における最近の進歩は、基礎となるシステムの回復を可能にする。 本稿では,この問題を解く新しいアルゴリズムを提案し,モデル次元とフィルタ長とを比較検討する。
  論文  参考訳（メタデータ） (2024-11-05T09:45:57Z)
• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Anamnesic Neural Differential Equations with Orthogonal Polynomial Projections [6.345523830122166]
  本稿では,長期記憶を強制し,基礎となる力学系の大域的表現を保存する定式化であるPolyODEを提案する。 提案手法は理論的保証に支えられ,過去と将来のデータの再構築において,過去の成果よりも優れていたことを実証する。
  論文  参考訳（メタデータ） (2023-03-03T10:49:09Z)
• Neural Abstractions [72.42530499990028]
  本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。 提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-01-27T12:38:09Z)
• Stabilized Neural Ordinary Differential Equations for Long-Time Forecasting of Dynamical Systems [1.001737665513683]
  衝撃やカオス力学を正確に捉えたデータ駆動モデリング手法を提案する。 我々は、線形項と非線形項を学習する2つのNNの出力を加えることで、ODEの右辺(SRH)を学習する。 具体的には、疎線形畳み込みNNを訓練して線形項と高密度完全連結非線形NNを学習し、非線形項を学習する。
  論文  参考訳（メタデータ） (2022-03-29T16:10:34Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Cubature Kalman Filter Based Training of Hybrid Differential Equation Recurrent Neural Network Physiological Dynamic Models [13.637931956861758]
  ニューラルネットワーク近似を用いて、未知の常微分方程式を既知のODEで近似する方法を示す。 その結果、このRBSEによるNNパラメータのトレーニングは、バックプロパゲーションによるニューラルネットワークのトレーニングよりも優れた結果(測定/状態推定精度)が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-12T15:38:13Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。