論文の概要: Efficient, Accurate and Stable Gradients for Neural ODEs

• arxiv url: http://arxiv.org/abs/2410.11648v1
• Date: Tue, 15 Oct 2024 14:36:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:54.416396
• Title: Efficient, Accurate and Stable Gradients for Neural ODEs
• Title（参考訳）: ニューラルネットワークの効率, 精度, 安定性
• Authors: Sam McCallum, James Foster,
• Abstract要約: 本稿では高次かつ数値的に安定な代数的可逆解器のクラスを示す。 この構造は自然にニューラルCDEとSDEの数値スキームにまで拡張される。
• 参考スコア（独自算出の注目度）: 3.79830302036482
• License:
• Abstract: Neural ODEs are a recently developed model class that combine the strong model priors of differential equations with the high-capacity function approximation of neural networks. One advantage of Neural ODEs is the potential for memory-efficient training via the continuous adjoint method. However, memory-efficient training comes at the cost of approximate gradients. Therefore, in practice, gradients are often obtained by simply backpropagating through the internal operations of the forward ODE solve - incurring high memory cost. Interestingly, it is possible to construct algebraically reversible ODE solvers that allow for both exact gradients and the memory-efficiency of the continuous adjoint method. Unfortunately, current reversible solvers are low-order and suffer from poor numerical stability. The use of these methods in practice is therefore limited. In this work, we present a class of algebraically reversible solvers that are both high-order and numerically stable. Moreover, any explicit numerical scheme can be made reversible by our method. This construction naturally extends to numerical schemes for Neural CDEs and SDEs.
• Abstract（参考訳）: ニューラルODEは、微分方程式の強いモデル先行とニューラルネットワークの高容量関数近似を組み合わせた、最近開発されたモデルクラスである。 Neural ODEsの利点の1つは、連続的な随伴法によるメモリ効率のトレーニングの可能性である。 しかし、メモリ効率のトレーニングは、近似勾配のコストがかかる。 したがって、実際には、フォワードODE解決の内部操作を単純にバックプロパゲートすることで、高メモリコストを発生させることで、グラデーションを得ることが多い。 興味深いことに、連続随伴法の正確な勾配とメモリ効率の両方を可能にする代数的に可逆なODEソルバを構築することができる。 残念ながら、現在の可逆解法は低次であり、数値安定性に乏しい。 したがって、これらの手法を実際に使用することは限られている。 本研究では,高次かつ数値的に安定な代数的可逆解器のクラスを示す。 さらに,本手法では,任意の明示的な数値スキームを可逆的にすることができる。 この構造は自然にニューラルCDEとSDEの数値スキームにまで拡張される。

関連論文リスト

• Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations [0.0]
  変分オートエンコーダ(VAE)はコンパクトな潜在表現を学習するための強力なフレームワークである。 ニューラルネットワークは過渡系力学の学習において優れている。 この研究は両者の強みを組み合わせることで、高速な代理モデルと調整可能な複雑さを生み出す。
  論文  参考訳（メタデータ） (2024-10-14T05:45:52Z)
• On Tuning Neural ODE for Stability, Consistency and Faster Convergence [0.0]
  本研究では,Nesterov'sAccelerated gradient (NAG) を用いたODE-solverを提案する。 我々は、より速くトレーニングし、より優れた、または同等のパフォーマンスをニューラルダイオードに対して達成し、アプローチの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-04T06:18:10Z)
• Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
  ニューラルネットワークの訓練を高速化する代替手法を提案する。 我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。 また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
  論文  参考訳（メタデータ） (2023-08-21T11:31:15Z)
• Eigen-informed NeuralODEs: Dealing with stability and convergence issues of NeuralODEs [0.0]
  本稿では,固有値に基づくODE特性の知識をニューラルネットワークの学習目的に付加する手法を提案する。 提案したトレーニングプロセスは、局所的なミニマム、不安定性、スパースなデータサンプルに対してはるかに堅牢であることを示し、トレーニング収束とパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2023-02-07T14:45:39Z)
• Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
  本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。 時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
  論文  参考訳（メタデータ） (2022-06-10T02:14:59Z)
• A memory-efficient neural ODE framework based on high-level adjoint differentiation [4.063868707697316]
  我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。 PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
  論文  参考訳（メタデータ） (2022-06-02T20:46:26Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
  訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。 本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
  論文  参考訳（メタデータ） (2020-07-30T11:24:05Z)
• STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
  トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T17:44:50Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。