論文の概要: Learning ODEs via Diffeomorphisms for Fast and Robust Integration

• arxiv url: http://arxiv.org/abs/2107.01650v1
• Date: Sun, 4 Jul 2021 14:32:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 02:31:00.865994
• Title: Learning ODEs via Diffeomorphisms for Fast and Robust Integration
• Title（参考訳）: 高速かつロバストな統合のための微分同型によるODEの学習
• Authors: Weiming Zhi, Tin Lai, Lionel Ott, Edwin V. Bonilla, Fabio Ramos
• Abstract要約: 微分可能な解法はニューラルネットワークの学習の中心である。 本稿では,データからODEを学習するための代替手法を提案する。 学習したODEと勾配を統合する場合、最大2桁の改善を観測する。
• 参考スコア（独自算出の注目度）: 40.52862415144424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advances in differentiable numerical integrators have enabled the use of gradient descent techniques to learn ordinary differential equations (ODEs). In the context of machine learning, differentiable solvers are central for Neural ODEs (NODEs), a class of deep learning models with continuous depth, rather than discrete layers. However, these integrators can be unsatisfactorily slow and inaccurate when learning systems of ODEs from long sequences, or when solutions of the system vary at widely different timescales in each dimension. In this paper we propose an alternative approach to learning ODEs from data: we represent the underlying ODE as a vector field that is related to another base vector field by a differentiable bijection, modelled by an invertible neural network. By restricting the base ODE to be amenable to integration, we can drastically speed up and improve the robustness of integration. We demonstrate the efficacy of our method in training and evaluating continuous neural networks models, as well as in learning benchmark ODE systems. We observe improvements of up to two orders of magnitude when integrating learned ODEs with GPUs computation.
• Abstract（参考訳）: 微分可能な数値積分器の進歩により、勾配降下法を用いて通常の微分方程式(ODE)を学習できるようになった。 機械学習の文脈では、微分可能な解法は、離散層ではなく、連続的な深さを持つディープラーニングモデルのクラスであるNeural ODE(NODE)の中心である。 しかし、これらの積分器は、長いシーケンスからODEのシステムを学ぶときや、システムの解が各次元で大きく異なる時間スケールで変化するとき、不満足に遅く不正確な場合がある。 本稿では,データからODEを学習する代替手法を提案し,その基礎となるODEを,可逆ニューラルネットワークによってモデル化された微分ビジェクションにより,他の基底ベクトル場と関連するベクトル場として表現する。 ベースODEを統合に適するように制限することで、私たちは大幅にスピードアップし、統合の堅牢性を向上させることができます。 本稿では,連続ニューラルネットワークモデルのトレーニングと評価,およびベンチマークODEシステムの学習における本手法の有効性を示す。 我々は、学習したODEとGPUの計算を統合する際に、最大2桁の改善を観察する。

関連論文リスト

• Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
  ニューラルネットワークの訓練を高速化する代替手法を提案する。 我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。 また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
  論文  参考訳（メタデータ） (2023-08-21T11:31:15Z)
• Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling [72.84259710412293]
  アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。 本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
  論文  参考訳（メタデータ） (2022-11-13T17:48:04Z)
• On Numerical Integration in Neural Ordinary Differential Equations [0.0]
  本稿では,数値積分がニューラルネットワークモデルの学習に与える影響を明らかにするために,逆修正微分方程式(IMDE)を提案する。 ニューラルODEモデルのトレーニングは、真のODEではなく、IMDEの近似を実際に返すことが示されている。
  論文  参考訳（メタデータ） (2022-06-15T07:39:01Z)
• Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
  本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。 時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
  論文  参考訳（メタデータ） (2022-06-10T02:14:59Z)
• A memory-efficient neural ODE framework based on high-level adjoint differentiation [4.063868707697316]
  我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。 PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
  論文  参考訳（メタデータ） (2022-06-02T20:46:26Z)
• Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs [16.516974867571175]
  本稿では、近位演算子を利用した異なる順序の暗黙のODEソルバを用いたニューラルODEの学習について考察する。 近似的暗黙解法は、数値安定性と計算効率において明示的解法よりも優れていることを保証している。
  論文  参考訳（メタデータ） (2022-04-19T02:55:10Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。