論文の概要: Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling

• arxiv url: http://arxiv.org/abs/2211.06972v1
• Date: Sun, 13 Nov 2022 17:48:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 20:01:08.359425
• Title: Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling
• Title（参考訳）: 動的システムモデリングのための適応解法を用いたニューラルODEトレーニングの実験的検討
• Authors: Alexandre Allauzen and Thiago Petrilli Maffei Dardis and Hannah Plath
• Abstract要約: アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。 本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
• 参考スコア（独自算出の注目度）: 72.84259710412293
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural Ordinary Differential Equations (ODEs) was recently introduced as a new family of neural network models, which relies on black-box ODE solvers for inference and training. Some ODE solvers called adaptive can adapt their evaluation strategy depending on the complexity of the problem at hand, opening great perspectives in machine learning. However, this paper describes a simple set of experiments to show why adaptive solvers cannot be seamlessly leveraged as a black-box for dynamical systems modelling. By taking the Lorenz'63 system as a showcase, we show that a naive application of the Fehlberg's method does not yield the expected results. Moreover, a simple workaround is proposed that assumes a tighter interaction between the solver and the training strategy. The code is available on github: https://github.com/Allauzen/adaptive-step-size-neural-ode
• Abstract（参考訳）: ニューラル正規微分方程式(ODE)は、最近、推論とトレーニングのためにブラックボックスODEソルバに依存するニューラルネットワークモデルの新しいファミリーとして導入された。 adaptiveと呼ばれるいくつかのodeソルバは、目の前の問題の複雑さに応じて評価戦略を適応させ、機械学習において大きな視点を開くことができる。 しかし,本論文では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。 lorenz'63 システムをショーケースとして使用することにより,fehlberg の手法のナイーブな適用では期待値が得られないことを示した。 さらに,解法と学習戦略との密接な相互作用を前提とした簡単な回避策を提案する。 コードはgithubで入手できる。 https://github.com/Allauzen/adaptive-step-size-neural-ode

関連論文リスト

• KAN/MultKAN with Physics-Informed Spline fitting (KAN-PISF) for ordinary/partial differential equation discovery of nonlinear dynamic systems [0.0]
  動的システムの物理的理解を開発するためには、機械学習モデルを解釈する必要がある。 本研究では, (SRDD) アルゴリズムをデノナイズするための逐次正規化導関数を含む方程式発見フレームワークを提案し, 式構造を同定し, 関連する非線形関数を提案する。
  論文  参考訳（メタデータ） (2024-11-18T18:14:51Z)
• Bridging Logic and Learning: A Neural-Symbolic Approach for Enhanced Reasoning in Neural Models (ASPER) [0.13053649021965597]
  本稿では,学習推論タスクにおけるニューラルモデルの性能向上を目的としたアプローチを提案する。 これを実現するために、Answer Set Programmingソルバとドメイン固有の専門知識を統合する。 モデルは、トレーニングとテストのためにたった12のパズルを使用して、スドゥークパズルの解法を大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2023-12-18T19:06:00Z)
• On the balance between the training time and interpretability of neural ODE for time series modelling [77.34726150561087]
  本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。 ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。 本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
  論文  参考訳（メタデータ） (2022-06-07T13:49:40Z)
• Learning ODEs via Diffeomorphisms for Fast and Robust Integration [40.52862415144424]
  微分可能な解法はニューラルネットワークの学習の中心である。 本稿では,データからODEを学習するための代替手法を提案する。 学習したODEと勾配を統合する場合、最大2桁の改善を観測する。
  論文  参考訳（メタデータ） (2021-07-04T14:32:16Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
  訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。 本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
  論文  参考訳（メタデータ） (2020-07-30T11:24:05Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。