論文の概要: ResNet After All? Neural ODEs and Their Numerical Solution
- arxiv url: http://arxiv.org/abs/2007.15386v2
- Date: Sun, 10 Sep 2023 20:14:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 23:58:33.083023
- Title: ResNet After All? Neural ODEs and Their Numerical Solution
- Title（参考訳）: やっぱり、resnet?
ニューラルネットワークとその数値解法
- Authors: Katharina Ott, Prateek Katiyar, Philipp Hennig, Michael Tiemann
- Abstract要約: 訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。
本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
- 参考スコア（独自算出の注目度）: 28.954378025052925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A key appeal of the recently proposed Neural Ordinary Differential Equation
(ODE) framework is that it seems to provide a continuous-time extension of
discrete residual neural networks. As we show herein, though, trained Neural
ODE models actually depend on the specific numerical method used during
training. If the trained model is supposed to be a flow generated from an ODE,
it should be possible to choose another numerical solver with equal or smaller
numerical error without loss of performance. We observe that if training relies
on a solver with overly coarse discretization, then testing with another solver
of equal or smaller numerical error results in a sharp drop in accuracy. In
such cases, the combination of vector field and numerical method cannot be
interpreted as a flow generated from an ODE, which arguably poses a fatal
breakdown of the Neural ODE concept. We observe, however, that there exists a
critical step size beyond which the training yields a valid ODE vector field.
We propose a method that monitors the behavior of the ODE solver during
training to adapt its step size, aiming to ensure a valid ODE without
unnecessarily increasing computational cost. We verify this adaptation
algorithm on a common bench mark dataset as well as a synthetic dataset.
- Abstract（参考訳）: 最近提案されたNeural Ordinary Differential Equation (ODE)フレームワークの重要な魅力は、離散的残差ニューラルネットワークの連続的な拡張を提供することである。
しかし、ここで示すように、訓練されたNeural ODEモデルは、実際にトレーニング中に使用される特定の数値法に依存している。
訓練されたモデルがODEから生成されたフローであるはずなら、性能を損なうことなく、同じまたはより小さい数値誤差で別の数値解法を選択することができる。
過大な離散化を伴う解法をトレーニングが頼りにすると、等値あるいは小値の数値誤差を持つ解法を用いてテストすると、精度は急落する。
このような場合、ベクトル場と数値法の組み合わせはODEから生成されたフローと解釈することはできず、これは明らかにNeural ODEの概念の致命的な崩壊をもたらす。
しかしながら、トレーニングが有効な ODE ベクトル場が得られるような重要なステップサイズが存在することを観察する。
本稿では,学習中のodeソルバの動作を監視し,そのステップサイズを適応させ,計算コストを不要に増加させることなく有効なodeを保証する手法を提案する。
我々は,この適応アルゴリズムを,一般的なベンチマークデータセットと合成データセットで検証する。
関連論文リスト
- Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
ニューラルネットワークの訓練を高速化する代替手法を提案する。
我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。
また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
論文 参考訳（メタデータ） (2023-08-21T11:31:15Z) - Implementation and (Inverse Modified) Error Analysis for
implicitly-templated ODE-nets [0.0]
我々は,暗黙的な数値初期値問題解法に基づいてテンプレート化されたODE-netを用いてデータから未知のダイナミクスを学習することに焦点を当てた。
我々は,非ロール型暗黙的スキームを用いて,ODE-netの逆修正誤り解析を行い,解釈を容易にする。
我々は,誤差のレベルを監視し,暗黙的な解反復数に適応する適応アルゴリズムを定式化する。
論文 参考訳（メタデータ） (2023-03-31T06:47:02Z) - Eigen-informed NeuralODEs: Dealing with stability and convergence issues
of NeuralODEs [0.0]
本稿では,固有値に基づくODE特性の知識をニューラルネットワークの学習目的に付加する手法を提案する。
提案したトレーニングプロセスは、局所的なミニマム、不安定性、スパースなデータサンプルに対してはるかに堅牢であることを示し、トレーニング収束とパフォーマンスを改善している。
論文 参考訳（メタデータ） (2023-02-07T14:45:39Z) - Experimental study of Neural ODE training with adaptive solver for
dynamical systems modeling [72.84259710412293]
アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。
本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
論文 参考訳（メタデータ） (2022-11-13T17:48:04Z) - On Numerical Integration in Neural Ordinary Differential Equations [0.0]
本稿では,数値積分がニューラルネットワークモデルの学習に与える影響を明らかにするために,逆修正微分方程式(IMDE)を提案する。
ニューラルODEモデルのトレーニングは、真のODEではなく、IMDEの近似を実際に返すことが示されている。
論文 参考訳（メタデータ） (2022-06-15T07:39:01Z) - Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs [16.516974867571175]
本稿では、近位演算子を利用した異なる順序の暗黙のODEソルバを用いたニューラルODEの学習について考察する。
近似的暗黙解法は、数値安定性と計算効率において明示的解法よりも優れていることを保証している。
論文 参考訳（メタデータ） (2022-04-19T02:55:10Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2021-03-15T17:26:34Z) - STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。
提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。
本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
論文 参考訳（メタデータ） (2020-06-18T17:44:50Z) - Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。
トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。
しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
論文 参考訳（メタデータ） (2020-02-22T22:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。