論文の概要: Taylor-Lagrange Neural Ordinary Differential Equations: Toward Fast Training and Evaluation of Neural ODEs

• arxiv url: http://arxiv.org/abs/2201.05715v1
• Date: Fri, 14 Jan 2022 23:56:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-22 18:15:50.766628
• Title: Taylor-Lagrange Neural Ordinary Differential Equations: Toward Fast Training and Evaluation of Neural ODEs
• Title（参考訳）: taylor-lagrange neural normal differential equation:高速トレーニングとニューラルネットワークの評価に向けて
• Authors: Franck Djeumou, Cyrus Neary, Eric Goubault, Sylvie Putot, and Ufuk Topcu
• Abstract要約: ニューラル常微分方程式(NODE)の学習のためのデータ駆動型アプローチを提案する。 提案手法は,低階テイラー展開のみを用いながら,適応的なステップサイズスキームと同じ精度を実現する。 一連の数値実験により、TL-NODEは最先端のアプローチよりも桁違いに高速に訓練できることが示されている。
• 参考スコア（独自算出の注目度）: 22.976119802895017
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Neural ordinary differential equations (NODEs) -- parametrizations of differential equations using neural networks -- have shown tremendous promise in learning models of unknown continuous-time dynamical systems from data. However, every forward evaluation of a NODE requires numerical integration of the neural network used to capture the system dynamics, making their training prohibitively expensive. Existing works rely on off-the-shelf adaptive step-size numerical integration schemes, which often require an excessive number of evaluations of the underlying dynamics network to obtain sufficient accuracy for training. By contrast, we accelerate the evaluation and the training of NODEs by proposing a data-driven approach to their numerical integration. The proposed Taylor-Lagrange NODEs (TL-NODEs) use a fixed-order Taylor expansion for numerical integration, while also learning to estimate the expansion's approximation error. As a result, the proposed approach achieves the same accuracy as adaptive step-size schemes while employing only low-order Taylor expansions, thus greatly reducing the computational cost necessary to integrate the NODE. A suite of numerical experiments, including modeling dynamical systems, image classification, and density estimation, demonstrate that TL-NODEs can be trained more than an order of magnitude faster than state-of-the-art approaches, without any loss in performance.
• Abstract（参考訳）: ニューラルネットワークを用いた微分方程式のパラメトリゼーションであるニューラル常微分方程式(ノード)は、データから未知の連続時間力学系の学習モデルにおいて非常に有望である。 しかしながら、ノードの前方評価には、システムダイナミクスをキャプチャするために使用されるニューラルネットワークの数値的統合が必要であり、そのトレーニングは極めて高価である。 既存の作業では、トレーニングに十分な精度を得るためには、基礎となる動的ネットワークの過度な評価を必要とする場合が多い。 対照的に,データ駆動アプローチを数値積分に提案することにより,ノードの評価とトレーニングを高速化する。 提案したTaylor-Lagrange NODEs (TL-NODEs) は数値積分のために固定階Taylor拡張を使用し、拡張の近似誤差を推定する。 その結果,提案手法は低次テイラー展開のみを用いながら適応ステップサイズスキームと同等の精度を実現し,ノード統合に必要な計算コストを大幅に削減した。 動的システムのモデリング、画像分類、密度推定を含む一連の数値実験により、TL-NODEは最先端のアプローチよりも桁違いに高速に訓練でき、性能が損なわれないことを示した。

関連論文リスト

• Parametric Taylor series based latent dynamics identification neural networks [0.3139093405260182]
  非線形力学の新しい潜在的同定法であるP-TLDINetを導入する。 これはテイラー級数展開とResNetsに基づく新しいニューラルネットワーク構造に依存している。
  論文  参考訳（メタデータ） (2024-10-05T15:10:32Z)
• From Fourier to Neural ODEs: Flow Matching for Modeling Complex Systems [20.006163951844357]
  ニューラル常微分方程式(NODE)を学習するためのシミュレーション不要なフレームワークを提案する。 フーリエ解析を用いて、ノイズの多い観測データから時間的および潜在的高次空間勾配を推定する。 我々の手法は、トレーニング時間、ダイナミクス予測、堅牢性の観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-05-19T13:15:23Z)
• On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
  ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。 様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
  論文  参考訳（メタデータ） (2022-08-07T09:02:18Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。