論文の概要: Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs

• arxiv url: http://arxiv.org/abs/2204.08621v1
• Date: Tue, 19 Apr 2022 02:55:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 23:51:40.965404
• Title: Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs
• Title（参考訳）: 学習ニューラルネットワークの高速化のための近似インプリシットODE解法
• Authors: Justin Baker and Hedi Xia and Yiwei Wang and Elena Cherkaev and Akil Narayan and Long Chen and Jack Xin and Andrea L. Bertozzi and Stanley J. Osher and Bao Wang
• Abstract要約: 本稿では、近位演算子を利用した異なる順序の暗黙のODEソルバを用いたニューラルODEの学習について考察する。 近似的暗黙解法は、数値安定性と計算効率において明示的解法よりも優れていることを保証している。
• 参考スコア（独自算出の注目度）: 16.516974867571175
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Learning neural ODEs often requires solving very stiff ODE systems, primarily using explicit adaptive step size ODE solvers. These solvers are computationally expensive, requiring the use of tiny step sizes for numerical stability and accuracy guarantees. This paper considers learning neural ODEs using implicit ODE solvers of different orders leveraging proximal operators. The proximal implicit solver consists of inner-outer iterations: the inner iterations approximate each implicit update step using a fast optimization algorithm, and the outer iterations solve the ODE system over time. The proximal implicit ODE solver guarantees superiority over explicit solvers in numerical stability and computational efficiency. We validate the advantages of proximal implicit solvers over existing popular neural ODE solvers on various challenging benchmark tasks, including learning continuous-depth graph neural networks and continuous normalizing flows.
• Abstract（参考訳）: ニューラルODEを学習するには、しばしば非常に硬いODEシステムを解く必要がある。 これらの解法は計算コストが高く、数値安定性と精度保証のために小さなステップサイズを使用する必要がある。 本稿では、近位演算子を利用した異なる順序の暗黙のODEソルバを用いたニューラルODEの学習について考察する。 内部イテレーションは、高速な最適化アルゴリズムを用いて各暗黙の更新ステップを近似し、外部イテレーションは時間とともにODEシステムを解く。 近位暗黙のodeソルバは数値安定性と計算効率において明示的な解法よりも優れていることを保証している。 連続深度グラフニューラルネットワークの学習や連続正規化フローなど,さまざまな課題のベンチマークタスクにおいて,既存のニューラルODEソルバに対する近位暗黙的解法の有効性を検証する。

関連論文リスト

• Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
  ニューラルネットワークの訓練を高速化する代替手法を提案する。 我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。 また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
  論文  参考訳（メタデータ） (2023-08-21T11:31:15Z)
• Eigen-informed NeuralODEs: Dealing with stability and convergence issues of NeuralODEs [0.0]
  本稿では,固有値に基づくODE特性の知識をニューラルネットワークの学習目的に付加する手法を提案する。 提案したトレーニングプロセスは、局所的なミニマム、不安定性、スパースなデータサンプルに対してはるかに堅牢であることを示し、トレーニング収束とパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2023-02-07T14:45:39Z)
• Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling [72.84259710412293]
  アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。 本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
  論文  参考訳（メタデータ） (2022-11-13T17:48:04Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• A memory-efficient neural ODE framework based on high-level adjoint differentiation [4.063868707697316]
  我々は、高レベル離散アルゴリズムの微分に基づく新しいニューラルODEフレームワーク、PNODEを提案する。 PNODEは他の逆精度の手法と比較してメモリ効率が最も高いことを示す。
  論文  参考訳（メタデータ） (2022-06-02T20:46:26Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Neural Stochastic Dual Dynamic Programming [99.80617899593526]
  我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。 $nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
  論文  参考訳（メタデータ） (2021-12-01T22:55:23Z)
• Learning ODEs via Diffeomorphisms for Fast and Robust Integration [40.52862415144424]
  微分可能な解法はニューラルネットワークの学習の中心である。 本稿では,データからODEを学習するための代替手法を提案する。 学習したODEと勾配を統合する場合、最大2桁の改善を観測する。
  論文  参考訳（メタデータ） (2021-07-04T14:32:16Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
  訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。 本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
  論文  参考訳（メタデータ） (2020-07-30T11:24:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。