論文の概要: Numerical and statistical analysis of NeuralODE with Runge-Kutta time integration

• arxiv url: http://arxiv.org/abs/2503.10729v1
• Date: Thu, 13 Mar 2025 11:58:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:05:19.954866
• Title: Numerical and statistical analysis of NeuralODE with Runge-Kutta time integration
• Title（参考訳）: Runge-Kutta 時間積分によるニューラルドの数値解析と統計的解析
• Authors: Emily C. Ehrhardt, Hanno Gottschalk, Tobias J. Riedlinger,
• Abstract要約: 対象尺度の汎用クラスに対する最大様相に基づく経験的リスク最小化の整合性に関する詳細な説明を行う。 また,第2次Runge-Kutta (RK) 時間積分に基づくNeuralODEアルゴリズムの数値解析を行った。
• 参考スコア（独自算出の注目度）: 1.3654846342364308
• License:
• Abstract: NeuralODE is one example for generative machine learning based on the push forward of a simple source measure with a bijective mapping, which in the case of NeuralODE is given by the flow of a ordinary differential equation. Using Liouville's formula, the log-density of the push forward measure is easy to compute and thus NeuralODE can be trained based on the maximum Likelihood method such that the Kulback-Leibler divergence between the push forward through the flow map and the target measure generating the data becomes small. In this work, we give a detailed account on the consistency of Maximum Likelihood based empirical risk minimization for a generic class of target measures. In contrast to prior work, we do not only consider the statistical learning theory, but also give a detailed numerical analysis of the NeuralODE algorithm based on the 2nd order Runge-Kutta (RK) time integration. Using the universal approximation theory for deep ReQU networks, the stability and convergence rated for the RK scheme as well as metric entropy and concentration inequalities, we are able to prove that NeuralODE is a probably approximately correct (PAC) learning algorithm.
• Abstract（参考訳）: NeuralODEは、通常の微分方程式のフローによって与えられる、単射写像を持つ単純なソース測度の前進に基づく生成機械学習の例である。 リウヴィルの公式を用いることで、プッシュフォワード測度の対数密度を計算しやすくし、フローマップを通してのプッシュフォワードとターゲット測度との間にクルバック・リーブラーのばらつきが小さくなるような最大等式法に基づいてニューロノドを訓練することができる。 本研究は,対象尺度の一般クラスに対する最大様相に基づく経験的リスク最小化の整合性について詳述する。 従来の研究とは対照的に、統計的学習理論だけでなく、第2次ルンゲ・クッタ(RK)時間積分に基づくニューラルネットワークアルゴリズムの詳細な数値解析も行う。 深層ReQUネットワークに対する普遍近似理論、RKスキームの安定性と収束性、および計量エントロピーと濃度不等式を用いて、NeuralODEがおそらくほぼ正しい(PAC)学習アルゴリズムであることを証明できる。

関連論文リスト

• Convergence Analysis for General Probability Flow ODEs of Diffusion Models in Wasserstein Distances [9.47767039367222]
  2-ワッサーシュタイン距離における確率フローODEサンプルの一般クラスに対する最初の非漸近収束解析を提供する。 提案手法は,連続時間ODEの収縮率のスペルを明示的に抽出し,同期結合を用いた離散化とスコアマッチング誤差を解析することに依存する。
  論文  参考訳（メタデータ） (2024-01-31T16:07:44Z)
• Distribution learning via neural differential equations: a nonparametric statistical perspective [1.4436965372953483]
  この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。 後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。 次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
  論文  参考訳（メタデータ） (2023-09-03T00:21:37Z)
• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Robust and Provably Monotonic Networks [0.0]
  深層学習モデルのリプシッツ定数を制約する新しい手法を提案する。 LHCbのリアルタイムデータ処理システムにおいて, 強靭で解釈可能な判別器を学習するために, アルゴリズムがどのように使われたかを示す。
  論文  参考訳（メタデータ） (2021-11-30T19:01:32Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Bayesian Neural Ordinary Differential Equations [0.9422623204346027]
  Neural ODEs と Bayesian 推論フレームワークの統合が成功したことを実証します。 10,000枚の画像のテストアンサンブルで、後部のサンプル精度を98.5%達成します。 これにより、不確実性の確率的推定のための科学的機械学習ツールが提供される。
  論文  参考訳（メタデータ） (2020-12-14T04:05:26Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
  本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。 我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
  論文  参考訳（メタデータ） (2020-03-11T13:15:57Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。