論文の概要: How to train your neural ODE: the world of Jacobian and kinetic regularization

• arxiv url: http://arxiv.org/abs/2002.02798v3
• Date: Tue, 23 Jun 2020 15:54:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 03:50:41.020407
• Title: How to train your neural ODE: the world of Jacobian and kinetic regularization
• Title（参考訳）: 神経のオデムを訓練する方法:ジャコビアンとキネティック・レギュライゼーションの世界
• Authors: Chris Finlay, J\"orn-Henrik Jacobsen, Levon Nurbekyan, Adam M Oberman
• Abstract要約: 大規模データセット上でのニューラルODEのトレーニングは、適応的数値ODEソルバがステップサイズを非常に小さな値に洗練できるようにする必要があるため、難航していない。 最適輸送と安定性の正則化の両方を理論的に基礎的に組み合わせることで、ニューラルODEは、問題をうまく解決するすべての力学から、より単純なダイナミクスを優先する。
• 参考スコア（独自算出の注目度）: 7.83405844354125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training neural ODEs on large datasets has not been tractable due to the necessity of allowing the adaptive numerical ODE solver to refine its step size to very small values. In practice this leads to dynamics equivalent to many hundreds or even thousands of layers. In this paper, we overcome this apparent difficulty by introducing a theoretically-grounded combination of both optimal transport and stability regularizations which encourage neural ODEs to prefer simpler dynamics out of all the dynamics that solve a problem well. Simpler dynamics lead to faster convergence and to fewer discretizations of the solver, considerably decreasing wall-clock time without loss in performance. Our approach allows us to train neural ODE-based generative models to the same performance as the unregularized dynamics, with significant reductions in training time. This brings neural ODEs closer to practical relevance in large-scale applications.
• Abstract（参考訳）: 大規模データセット上でのニューラルODEのトレーニングは、適応的数値ODEソルバがステップサイズを非常に小さな値に洗練できるようにする必要があるため、難航していない。 実際には、これは数百から数千のレイヤーに相当するダイナミクスにつながります。 本稿では, 最適輸送と安定性の正規化を理論的に基礎的に組み合わせ, 問題をよく解く全てのダイナミクスからより単純なダイナミクスを好む神経odeを推奨することで, この明らかな難しさを克服する。 より単純なダイナミクスは、より早く収束し、解法の離散化を少なくし、性能を損なうことなくウォールクロック時間を著しく減少させる。 提案手法により,ニューラルネットワークによる生成モデルを非正規化ダイナミクスと同じ性能でトレーニングすることが可能となり,トレーニング時間が大幅に短縮される。 これにより、大規模なアプリケーションにおいて、ニューラルネットワークODEは実践的関連性に近づきます。

関連論文リスト

• Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
  ニューラルネットワークの訓練を高速化する代替手法を提案する。 我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。 また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
  論文  参考訳（メタデータ） (2023-08-21T11:31:15Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Homotopy-based training of NeuralODEs for accurate dynamics discovery [0.0]
  我々は,同期とホモトピー最適化に基づくニューラルノードの新しいトレーニング手法を開発した。 モデルダイナミクスとトレーニングデータとを同期させることで、もともと不規則なロスランドスケープを味わうことを示す。 本手法は,トレーニングエポックの半数以下を必要としながら,競争力やより良いトレーニング損失を達成する。
  論文  参考訳（メタデータ） (2022-10-04T06:32:45Z)
• On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
  ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。 様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
  論文  参考訳（メタデータ） (2022-08-07T09:02:18Z)
• AdamNODEs: When Neural ODE Meets Adaptive Moment Estimation [19.909858354874547]
  古典運動量に基づくアプローチの加速度を適応的に制御する適応運動量推定ニューラルネットワーク(AdamNODEs)を提案する。 評価において、AdamNODEは既存のニューラルネットワークに比べてトレーニング損失と有効性が低いことを示す。
  論文  参考訳（メタデータ） (2022-07-13T09:20:38Z)
• Stabilized Neural Ordinary Differential Equations for Long-Time Forecasting of Dynamical Systems [1.001737665513683]
  衝撃やカオス力学を正確に捉えたデータ駆動モデリング手法を提案する。 我々は、線形項と非線形項を学習する2つのNNの出力を加えることで、ODEの右辺(SRH)を学習する。 具体的には、疎線形畳み込みNNを訓練して線形項と高密度完全連結非線形NNを学習し、非線形項を学習する。
  論文  参考訳（メタデータ） (2022-03-29T16:10:34Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
  トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T17:44:50Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。