論文の概要: On Tuning Neural ODE for Stability, Consistency and Faster Convergence
- arxiv url: http://arxiv.org/abs/2312.01657v1
- Date: Mon, 4 Dec 2023 06:18:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 16:12:17.620519
- Title: On Tuning Neural ODE for Stability, Consistency and Faster Convergence
- Title（参考訳）: 安定, 一貫性, より高速な収束のためのチューニング型ニューラルネットワークODEについて
- Authors: Sheikh Waqas Akhtar
- Abstract要約: 本研究では,Nesterov'sAccelerated gradient (NAG) を用いたODE-solverを提案する。
我々は、より速くトレーニングし、より優れた、または同等のパフォーマンスをニューラルダイオードに対して達成し、アプローチの有効性を実証的に実証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural-ODE parameterize a differential equation using continuous depth neural
network and solve it using numerical ODE-integrator. These models offer a
constant memory cost compared to models with discrete sequence of hidden layers
in which memory cost increases linearly with the number of layers. In addition
to memory efficiency, other benefits of neural-ode include adaptability of
evaluation approach to input, and flexibility to choose numerical precision or
fast training. However, despite having all these benefits, it still has some
limitations. We identify the ODE-integrator (also called ODE-solver) as the
weakest link in the chain as it may have stability, consistency and convergence
(CCS) issues and may suffer from slower convergence or may not converge at all.
We propose a first-order Nesterov's accelerated gradient (NAG) based ODE-solver
which is proven to be tuned vis-a-vis CCS conditions. We empirically
demonstrate the efficacy of our approach by training faster, while achieving
better or comparable performance against neural-ode employing other fixed-step
explicit ODE-solvers as well discrete depth models such as ResNet in three
different tasks including supervised classification, density estimation, and
time-series modelling.
- Abstract（参考訳）: neural-odeは連続深度ニューラルネットワークを用いて微分方程式をパラメータ化し、数値ode積分器を用いて解く。
これらのモデルでは、層数に応じてメモリコストが線形に増大する個別の層列を持つモデルと比較して、メモリコストが一定である。
メモリ効率に加えて、ニューラルダイオードの他の利点として、入力に対する評価アプローチの適応性、数値的精度や高速トレーニングを選択する柔軟性がある。
しかし、これらすべての利点はあるものの、まだいくつかの制限がある。
ODE-インテグレータ(ODE-solver とも呼ばれる)は、安定性、一貫性、収束(CCS)の問題があり、収束が遅いか、全く収束しない可能性があるため、チェーン内の最も弱いリンクである。
我々は,vis-a-vis ccs条件を調整した一階のnesterov's accelerated gradient (nag) ベースのode-solverを提案する。
教師付き分類、密度推定、時系列モデリングを含む3つのタスクにおいて、他の固定ステップの明示的なODE-ソルバとResNetのような離散的な深度モデルを用いて、ニューラルオードに対して、より高速に、あるいは同等のパフォーマンスを達成しながら、我々のアプローチの有効性を実証的に実証した。
関連論文リスト
- Efficient, Accurate and Stable Gradients for Neural ODEs [3.79830302036482]
本稿では高次かつ数値的に安定な代数的可逆解器のクラスを示す。
この構造は自然にニューラルCDEとSDEの数値スキームにまで拡張される。
論文 参考訳（メタデータ） (2024-10-15T14:36:05Z) - Balanced Neural ODEs: nonlinear model order reduction and Koopman operator approximations [0.0]
変分オートエンコーダ(VAE)はコンパクトな潜在表現を学習するための強力なフレームワークである。
ニューラルネットワークは過渡系力学の学習において優れている。
この研究は両者の強みを組み合わせることで、高速な代理モデルと調整可能な複雑さを生み出す。
論文 参考訳（メタデータ） (2024-10-14T05:45:52Z) - Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
ニューラルネットワークの訓練を高速化する代替手法を提案する。
我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。
また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
論文 参考訳（メタデータ） (2023-08-21T11:31:15Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Eigen-informed NeuralODEs: Dealing with stability and convergence issues
of NeuralODEs [0.0]
本稿では,固有値に基づくODE特性の知識をニューラルネットワークの学習目的に付加する手法を提案する。
提案したトレーニングプロセスは、局所的なミニマム、不安定性、スパースなデータサンプルに対してはるかに堅牢であることを示し、トレーニング収束とパフォーマンスを改善している。
論文 参考訳（メタデータ） (2023-02-07T14:45:39Z) - A memory-efficient neural ODE framework based on high-level adjoint
differentiation [4.063868707697316]
我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。
PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
論文 参考訳（メタデータ） (2022-06-02T20:46:26Z) - Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。
異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。
深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文 参考訳（メタデータ） (2021-06-24T12:23:05Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2021-03-15T17:26:34Z) - ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。
本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
論文 参考訳（メタデータ） (2020-07-30T11:24:05Z) - Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
時変重みを持つニューラルODEの新しいファミリーを提案する。
我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
論文 参考訳（メタデータ） (2020-05-05T01:41:46Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。