論文の概要: Heavy Ball Neural Ordinary Differential Equations
- arxiv url: http://arxiv.org/abs/2110.04840v1
- Date: Sun, 10 Oct 2021 16:11:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-16 14:01:16.371603
- Title: Heavy Ball Neural Ordinary Differential Equations
- Title（参考訳）: 重球ニューラル常微分方程式
- Authors: Hedi Xia, Vai Suliafu, Hangjie Ji, Tan M. Nguyen, Andrea L. Bertozzi,
Stanley J. Osher, Bao Wang
- Abstract要約: 重球型ニューラル常微分方程式(HBNODE)を提案し,ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・オーラル・ディファレンス(NODE)のトレーニングと推論を改善する。
HBNODE には、NODE に対して実用的な利点を示す2つの特性がある。
我々は、画像分類、複雑な力学の学習、逐次モデリングなど、ベンチマークタスクにおけるHBNODEの利点を検証する。
- 参考スコア（独自算出の注目度）: 12.861233366398162
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose heavy ball neural ordinary differential equations (HBNODEs),
leveraging the continuous limit of the classical momentum accelerated gradient
descent, to improve neural ODEs (NODEs) training and inference. HBNODEs have
two properties that imply practical advantages over NODEs: (i) The adjoint
state of an HBNODE also satisfies an HBNODE, accelerating both forward and
backward ODE solvers, thus significantly reducing the number of function
evaluations (NFEs) and improving the utility of the trained models. (ii) The
spectrum of HBNODEs is well structured, enabling effective learning of
long-term dependencies from complex sequential data. We verify the advantages
of HBNODEs over NODEs on benchmark tasks, including image classification,
learning complex dynamics, and sequential modeling. Our method requires
remarkably fewer forward and backward NFEs, is more accurate, and learns
long-term dependencies more effectively than the other ODE-based neural network
models. Code is available at \url{https://github.com/hedixia/HeavyBallNODE}.
- Abstract（参考訳）: 本研究では,古典的運動量加速勾配降下の連続限界を利用して,重球型ニューラル常微分方程式(hbノード)を提案する。
HBNODE には、NODE に対して実用的な利点を示す2つの特性がある。
i) HBNODE の随伴状態も HBNODE を満足し,前後のODE ソルバを高速化し,機能評価(NFE)の数を著しく削減し,訓練されたモデルの有用性を向上させる。
(II)HBNODEのスペクトルはよく構造化されており、複雑なシーケンシャルデータから長期依存を効果的に学習することができる。
我々は、画像分類、複雑な力学の学習、逐次モデリングなど、ベンチマークタスクにおけるHBNODEの利点を検証する。
提案手法は, 前方および後方のNFEを著しく少なくし, より正確で, 他のODEベースニューラルネットワークモデルよりも長期間の依存関係を効果的に学習する。
コードは \url{https://github.com/hedixia/heavyballnode} で入手できる。
関連論文リスト
- Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
ニューラルネットワークの訓練を高速化する代替手法を提案する。
我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。
また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
論文 参考訳（メタデータ） (2023-08-21T11:31:15Z) - Learning Neural Constitutive Laws From Motion Observations for
Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。
PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。
そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2023-04-27T17:42:24Z) - Neural Delay Differential Equations: System Reconstruction and Image
Classification [14.59919398960571]
我々はニューラル遅延微分方程式 (Neural Delay Differential Equations, NDDEs) という,遅延を伴う連続深度ニューラルネットワークの新しいクラスを提案する。
NODE と比較して、NDDE はより強い非線形表現能力を持つ。
我々は、合成されたデータだけでなく、よく知られた画像データセットであるCIFAR10に対しても、損失の低減と精度の向上を実現している。
論文 参考訳（メタデータ） (2023-04-11T16:09:28Z) - Neural Laplace: Learning diverse classes of differential equations in
the Laplace domain [86.52703093858631]
本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。
時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。
The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
論文 参考訳（メタデータ） (2022-06-10T02:14:59Z) - On the balance between the training time and interpretability of neural
ODE for time series modelling [77.34726150561087]
本稿は,現代のニューラルODEを,時系列モデリングアプリケーションのためのより単純なモデルに還元することはできないことを示す。
ニューラルODEの複雑さは、従来の時系列モデリングツールと比較されるか、超える。
本稿では,ニューラルネットワークとODEシステムを用いた時系列モデリングの新しい視点を提案する。
論文 参考訳（メタデータ） (2022-06-07T13:49:40Z) - Neural Differential Equations for Learning to Program Neural Nets
Through Continuous Learning Rules [10.924226420146626]
連続時間シーケンス処理網を構築するために,学習ルールとニューラルODEを組み合わせた新しい手法を提案する。
これにより、Fast Weight Programmers と linear Transformer の連続時間版が生成される。
論文 参考訳（メタデータ） (2022-06-03T15:48:53Z) - Learning POD of Complex Dynamics Using Heavy-ball Neural ODEs [7.388910452780173]
我々は、最近提案されたヘビーボールニューラルODE(HBNODE)を用いて、データ駆動の低次モデルの学習を行う。
HBNODEは、理論的保証付きPODベースのROMを学習する上で、いくつかの実用的な利点がある。
論文 参考訳（メタデータ） (2022-02-24T22:00:25Z) - Neural Delay Differential Equations [9.077775405204347]
ニューラル遅延微分方程式 (N Neural Delay Differential Equations, NDDEs) と呼ばれる遅延を持つ連続深層ニューラルネットワークの新しいクラスを提案する。
対応する勾配を計算するために,随伴感度法を用いて随伴の遅延ダイナミクスを得る。
この結果から,動的システムの要素をネットワーク設計に適切に表現することは,ネットワーク性能の促進に真に有益であることが判明した。
論文 参考訳（メタデータ） (2021-02-22T06:53:51Z) - On Second Order Behaviour in Augmented Neural ODEs [69.8070643951126]
第二次ニューラルノード(ソノド)を考える
副次感度法がSONODEにどのように拡張できるかを示す。
我々は拡張NODE(Augmented NODEs)のより広範なクラスの理論的理解を拡張した。
論文 参考訳（メタデータ） (2020-06-12T14:25:31Z) - Neural Ordinary Differential Equation based Recurrent Neural Network
Model [0.7233897166339269]
微分方程式は ニューラルネットワークの 新たなメンバーだ
本稿では, 通常の微分方程式(ODE)の強度を新しい拡張法で探索する。
2つの新しいODEベースのRNNモデル(GRU-ODEモデルとLSTM-ODE)は、ODEソルバを用いて任意の時点で隠れた状態とセル状態を計算することができる。
実験により、これらの新しいODEベースのRNNモデルは、遅延ODEや従来のニューラルODEよりもトレーニング時間が少ないことが示された。
論文 参考訳（メタデータ） (2020-05-20T01:02:29Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。