論文の概要: AdamNODEs: When Neural ODE Meets Adaptive Moment Estimation

• arxiv url: http://arxiv.org/abs/2207.06066v1
• Date: Wed, 13 Jul 2022 09:20:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 23:40:13.129590
• Title: AdamNODEs: When Neural ODE Meets Adaptive Moment Estimation
• Title（参考訳）: AdamNODEs: ニューラルネットワークODEが適応モーメント推定に出会ったとき
• Authors: Suneghyeon Cho, Sanghyun Hong, Kookjin Lee, Noseong Park
• Abstract要約: 古典運動量に基づくアプローチの加速度を適応的に制御する適応運動量推定ニューラルネットワーク(AdamNODEs)を提案する。 評価において、AdamNODEは既存のニューラルネットワークに比べてトレーニング損失と有効性が低いことを示す。
• 参考スコア（独自算出の注目度）: 19.909858354874547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work by Xia et al. leveraged the continuous-limit of the classical momentum accelerated gradient descent and proposed heavy-ball neural ODEs. While this model offers computational efficiency and high utility over vanilla neural ODEs, this approach often causes the overshooting of internal dynamics, leading to unstable training of a model. Prior work addresses this issue by using ad-hoc approaches, e.g., bounding the internal dynamics using specific activation functions, but the resulting models do not satisfy the exact heavy-ball ODE. In this work, we propose adaptive momentum estimation neural ODEs (AdamNODEs) that adaptively control the acceleration of the classical momentum-based approach. We find that its adjoint states also satisfy AdamODE and do not require ad-hoc solutions that the prior work employs. In evaluation, we show that AdamNODEs achieve the lowest training loss and efficacy over existing neural ODEs. We also show that AdamNODEs have better training stability than classical momentum-based neural ODEs. This result sheds some light on adapting the techniques proposed in the optimization community to improving the training and inference of neural ODEs further. Our code is available at https://github.com/pmcsh04/AdamNODE.
• Abstract（参考訳）: Xiaらによる最近の研究は、古典運動量の連続極限を利用して勾配降下を加速し、重球ニューラルODEを提案する。 このモデルはバニラ神経odeよりも計算効率と高ユーティリティを提供するが、このアプローチはしばしば内部ダイナミクスのオーバーシュートを引き起こし、モデルの不安定なトレーニングに繋がる。 従来の作業では、例えば特定のアクティベーション関数を使って内部ダイナミクスをバウンディングするといったアドホックなアプローチを使用してこの問題に対処するが、結果として得られるモデルは正確なヘビーボールODEを満足しない。 本研究では,古典運動量に基づくアプローチの加速度を適応的に制御する適応運動量推定ニューラルネットワーク(AdamNODEs)を提案する。 その随伴状態もAdamODEを満足し、先行研究が採用したアドホックな解を必要としないことが分かる。 評価において、AdamNODEは既存のニューラルネットワークに比べてトレーニング損失と有効性が低いことを示す。 また,adamnodeは古典的運動量に基づくニューラルodeよりも優れたトレーニング安定性を示す。 この結果は、最適化コミュニティで提案されているテクニックを適応させ、ニューラルネットワークのトレーニングと推論をさらに改善することに光を当てている。 私たちのコードはhttps://github.com/pmcsh04/adamnodeで利用可能です。

関連論文リスト

• Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
  ニューラルネットワークの訓練を高速化する代替手法を提案する。 我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。 また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
  論文  参考訳（メタデータ） (2023-08-21T11:31:15Z)
• Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling [72.84259710412293]
  アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。 本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
  論文  参考訳（メタデータ） (2022-11-13T17:48:04Z)
• Standalone Neural ODEs with Sensitivity Analysis [5.565364597145569]
  本稿では,完全深部ニューラルネットワークを記述可能な連続深部ニューラルネットワークモデルを提案する。 神経感受性問題の一般的な定式化を行い,NCGトレーニングでどのように使用されるかを示す。 我々の新しい定式化がResNetモデルと比較してロバスト性や性能の向上につながることを示す。
  論文  参考訳（メタデータ） (2022-05-27T12:16:53Z)
• Heavy Ball Neural Ordinary Differential Equations [12.861233366398162]
  重球型ニューラル常微分方程式(HBNODE)を提案し,ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・ニューラル・オーラル・ディファレンス(NODE)のトレーニングと推論を改善する。 HBNODE には、NODE に対して実用的な利点を示す2つの特性がある。 我々は、画像分類、複雑な力学の学習、逐次モデリングなど、ベンチマークタスクにおけるHBNODEの利点を検証する。
  論文  参考訳（メタデータ） (2021-10-10T16:11:11Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)
• How to train your neural ODE: the world of Jacobian and kinetic regularization [7.83405844354125]
  大規模データセット上でのニューラルODEのトレーニングは、適応的数値ODEソルバがステップサイズを非常に小さな値に洗練できるようにする必要があるため、難航していない。 最適輸送と安定性の正則化の両方を理論的に基礎的に組み合わせることで、ニューラルODEは、問題をうまく解決するすべての力学から、より単純なダイナミクスを優先する。
  論文  参考訳（メタデータ） (2020-02-07T14:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。