論文の概要: Meta-Solver for Neural Ordinary Differential Equations

• arxiv url: http://arxiv.org/abs/2103.08561v1
• Date: Mon, 15 Mar 2021 17:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 14:00:24.876545
• Title: Meta-Solver for Neural Ordinary Differential Equations
• Title（参考訳）: 神経常微分方程式のメタソルバ
• Authors: Julia Gusak, Alexandr Katrutsa, Talgat Daulbaev, Andrzej Cichocki, Ivan Oseledets
• Abstract要約: 本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
• 参考スコア（独自算出の注目度）: 77.8918415523446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A conventional approach to train neural ordinary differential equations (ODEs) is to fix an ODE solver and then learn the neural network's weights to optimize a target loss function. However, such an approach is tailored for a specific discretization method and its properties, which may not be optimal for the selected application and yield the overfitting to the given solver. In our paper, we investigate how the variability in solvers' space can improve neural ODEs performance. We consider a family of Runge-Kutta methods that are parameterized by no more than two scalar variables. Based on the solvers' properties, we propose an approach to decrease neural ODEs overfitting to the pre-defined solver, along with a criterion to evaluate such behaviour. Moreover, we show that the right choice of solver parameterization can significantly affect neural ODEs models in terms of robustness to adversarial attacks. Recently it was shown that neural ODEs demonstrate superiority over conventional CNNs in terms of robustness. Our work demonstrates that the model robustness can be further improved by optimizing solver choice for a given task. The source code to reproduce our experiments is available at https://github.com/juliagusak/neural-ode-metasolver.
• Abstract（参考訳）: ニューラル常微分方程式(ODE)を訓練する従来の手法は、ODEソルバを固定し、ニューラルネットワークの重みを学習して目標損失関数を最適化する。 しかし、そのようなアプローチは特定の離散化法とその特性のために調整されており、選択された応用には最適ではなく、与えられた解法に過度に適合する可能性がある。 本論文では,ソルバ空間の変動がニューラルODEの性能をいかに向上させるかについて検討する。 2つ以上のスカラー変数によってパラメータ化されるrunge-kuttaメソッドの族を考える。 本研究では,ソルバの特性に基づいて,事前定義されたソルバにオーバーフィットする神経ODEの低減と,それらの挙動を評価するための基準を提案する。 さらに, 解法パラメータ化の適切な選択は, 敵攻撃に対するロバスト性の観点から, ニューラルODEモデルに大きく影響することを示した。 近年,ニューラルネットワークは従来のCNNよりも頑健性が高いことが示されている。 本研究は,与えられたタスクの解法選択を最適化することで,モデルのロバスト性をさらに向上できることを実証する。 実験を再現するソースコードは、https://github.com/juliagusak/neural-ode-metasolverで閲覧できます。

関連論文リスト

• Faster Training of Neural ODEs Using Gau{\ss}-Legendre Quadrature [68.9206193762751]
  ニューラルネットワークの訓練を高速化する代替手法を提案する。 我々はGuss-Legendre乗法を用いて、ODEベースの方法よりも高速に積分を解く。 また、Wong-Zakai定理を用いて、対応するODEをトレーニングし、パラメータを転送することで、SDEのトレーニングにも拡張する。
  論文  参考訳（メタデータ） (2023-08-21T11:31:15Z)
• Experimental study of Neural ODE training with adaptive solver for dynamical systems modeling [72.84259710412293]
  アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。 本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
  論文  参考訳（メタデータ） (2022-11-13T17:48:04Z)
• Proximal Implicit ODE Solvers for Accelerating Learning Neural ODEs [16.516974867571175]
  本稿では、近位演算子を利用した異なる順序の暗黙のODEソルバを用いたニューラルODEの学習について考察する。 近似的暗黙解法は、数値安定性と計算効率において明示的解法よりも優れていることを保証している。
  論文  参考訳（メタデータ） (2022-04-19T02:55:10Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
  訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。 本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
  論文  参考訳（メタデータ） (2020-07-30T11:24:05Z)
• Unsupervised Learning of Solutions to Differential Equations with Generative Adversarial Networks [1.1470070927586016]
  本研究では,教師なしニューラルネットワークを用いた微分方程式の解法を開発した。 差分方程式GAN (DEQGAN) と呼ばれる手法は, 平均二乗誤差を桁違いに低減できることを示す。
  論文  参考訳（メタデータ） (2020-07-21T23:36:36Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• ODEN: A Framework to Solve Ordinary Differential Equations using Artificial Neural Networks [0.0]
  我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。 ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。 ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
  論文  参考訳（メタデータ） (2020-05-28T15:34:10Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。