論文の概要: Implementation and (Inverse Modified) Error Analysis for implicitly-templated ODE-nets

• arxiv url: http://arxiv.org/abs/2303.17824v2
• Date: Mon, 10 Apr 2023 01:11:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 20:07:35.823333
• Title: Implementation and (Inverse Modified) Error Analysis for implicitly-templated ODE-nets
• Title（参考訳）: 暗黙的に測定したODE-netの実装と(逆修正)誤差解析
• Authors: Aiqing Zhu, Tom Bertalan, Beibei Zhu, Yifa Tang and Ioannis G. Kevrekidis
• Abstract要約: 我々は,暗黙的な数値初期値問題解法に基づいてテンプレート化されたODE-netを用いてデータから未知のダイナミクスを学習することに焦点を当てた。 我々は,非ロール型暗黙的スキームを用いて,ODE-netの逆修正誤り解析を行い,解釈を容易にする。 我々は,誤差のレベルを監視し,暗黙的な解反復数に適応する適応アルゴリズムを定式化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We focus on learning unknown dynamics from data using ODE-nets templated on implicit numerical initial value problem solvers. First, we perform Inverse Modified error analysis of the ODE-nets using unrolled implicit schemes for ease of interpretation. It is shown that training an ODE-net using an unrolled implicit scheme returns a close approximation of an Inverse Modified Differential Equation (IMDE). In addition, we establish a theoretical basis for hyper-parameter selection when training such ODE-nets, whereas current strategies usually treat numerical integration of ODE-nets as a black box. We thus formulate an adaptive algorithm which monitors the level of error and adapts the number of (unrolled) implicit solution iterations during the training process, so that the error of the unrolled approximation is less than the current learning loss. This helps accelerate training, while maintaining accuracy. Several numerical experiments are performed to demonstrate the advantages of the proposed algorithm compared to nonadaptive unrollings, and validate the theoretical analysis. We also note that this approach naturally allows for incorporating partially known physical terms in the equations, giving rise to what is termed ``gray box" identification.
• Abstract（参考訳）: 我々は,暗黙的な数値初期値問題解法に基づいてテンプレート化されたODE-netを用いてデータから未知のダイナミクスを学習する。 まず、解釈を容易にするために、未ロールの暗黙的スキームを用いてode-netの逆修正エラー解析を行う。 非ローリングな暗黙的スキームを用いてode-netをトレーニングすると、逆修正微分方程式(imde)の近似が返される。 さらに、このようなODE-netをトレーニングする際のパラメータ選択の理論的基盤を確立する一方、現在の戦略では、ODE-netの数値積分をブラックボックスとして扱うのが一般的である。 そこで, 学習過程において, 誤りのレベルを監視し, 暗黙的な解の繰り返し数に適応する適応アルゴリズムを定式化し, 未学習の近似の誤差が現在の学習損失より少ないようにした。 これは精度を維持しながら、トレーニングを加速するのに役立つ。 提案手法の利点を非適応解法と比較し,理論解析の有効性を検証するため,いくつかの数値実験を行った。 このアプローチは自然に、方程式に部分的に既知の物理項を組み込むことを可能にし、" `gray box" と呼ばれるものを生み出すことに留意する。

関連論文リスト

• Variational formulations of ODE-Net as a mean-field optimal control problem and existence results [0.0]
  本稿では,ディープニューラルネットワーク(DNN)の連続体モデルであるODE-Netの数学的解析について述べる。 近年、機械学習の研究者たちは、DNNの深い構造をODEに置き換えるアイデアを連続的な制限として導入している。
  論文  参考訳（メタデータ） (2023-03-09T00:47:30Z)
• Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling [72.84259710412293]
  アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。 本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
  論文  参考訳（メタデータ） (2022-11-13T17:48:04Z)
• Discovering ordinary differential equations that govern time-series [65.07437364102931]
  本研究では, 1つの観測解の時系列データから, スカラー自律常微分方程式(ODE)を記号形式で復元するトランスフォーマーに基づくシーケンス・ツー・シーケンス・モデルを提案する。 提案手法は, 1回に一度, ODE の大規模な事前訓練を行った後, モデルのいくつかの前方通過において, 新たに観測された解の法則を推測することができる。
  論文  参考訳（メタデータ） (2022-11-05T07:07:58Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Opening the Blackbox: Accelerating Neural Differential Equations by Regularizing Internal Solver Heuristics [0.0]
  本論文では,適応微分方程式ソルバの内部コストと離散感性を組み合わせてトレーニング過程を導く新しい正規化手法について述べる。 このアプローチは微分方程式解法アルゴリズムの背後にあるブラックボックスの数値解析を開放し、その局所誤差推定と剛性を安価で正確なコスト推定として利用する。 当社のアプローチが予測時間を半減させる方法を示し、これがトレーニング時間を桁違いに向上させる方法を示します。
  論文  参考訳（メタデータ） (2021-05-09T12:03:03Z)
• A Probabilistic State Space Model for Joint Inference from Differential Equations and Data [23.449725313605835]
  ベイズフィルタを用いて解過程を直接句する常微分方程式 (odes) の解法の新しいクラスを示す。 その後、拡張カルマンフィルタの単一の線形複雑化パスにおいて、潜力とODE溶液のベイズ推定を近似することができるようになる。 本研究では,covid-19流行データに基づく非パラメトリックsirdモデルを訓練することにより,アルゴリズムの表現力と性能を示す。
  論文  参考訳（メタデータ） (2021-03-18T10:36:09Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
  訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。 本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
  論文  参考訳（メタデータ） (2020-07-30T11:24:05Z)
• STEER: Simple Temporal Regularization For Neural ODEs [80.80350769936383]
  トレーニング中のODEの終了時刻をランダムにサンプリングする新しい正規化手法を提案する。 提案された正規化は実装が簡単で、オーバーヘッドを無視でき、様々なタスクで有効である。 本稿では,フローの正規化,時系列モデル,画像認識などの実験を通じて,提案した正規化がトレーニング時間を大幅に短縮し,ベースラインモデルよりも性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T17:44:50Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。