論文の概要: Neural Generalized Ordinary Differential Equations with Layer-varying Parameters

• arxiv url: http://arxiv.org/abs/2209.10633v1
• Date: Wed, 21 Sep 2022 20:02:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 13:52:26.804018
• Title: Neural Generalized Ordinary Differential Equations with Layer-varying Parameters
• Title（参考訳）: 層変動パラメータを持つ神経一般常微分方程式
• Authors: Duo Yu, Hongyu Miao, Hulin Wu
• Abstract要約: 層状ニューラルGODEは標準ニューラルGODEよりも柔軟で汎用的であることを示す。 Neural-GODEは、予測精度でResNetsと互換性を持って実行しながら、計算とメモリの利点を享受する。
• 参考スコア（独自算出の注目度）: 1.3691539554014036
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep residual networks (ResNets) have shown state-of-the-art performance in various real-world applications. Recently, the ResNets model was reparameterized and interpreted as solutions to a continuous ordinary differential equation or Neural-ODE model. In this study, we propose a neural generalized ordinary differential equation (Neural-GODE) model with layer-varying parameters to further extend the Neural-ODE to approximate the discrete ResNets. Specifically, we use nonparametric B-spline functions to parameterize the Neural-GODE so that the trade-off between the model complexity and computational efficiency can be easily balanced. It is demonstrated that ResNets and Neural-ODE models are special cases of the proposed Neural-GODE model. Based on two benchmark datasets, MNIST and CIFAR-10, we show that the layer-varying Neural-GODE is more flexible and general than the standard Neural-ODE. Furthermore, the Neural-GODE enjoys the computational and memory benefits while performing comparably to ResNets in prediction accuracy.
• Abstract（参考訳）: ディープ残差ネットワーク(ResNets)は、様々な現実世界のアプリケーションで最先端の性能を示している。 近年、resnetsモデルは再パラメータ化され、連続常微分方程式やニューラルオデモデルに対する解として解釈された。 本研究では,階層的パラメータを持つニューラル一般化常微分方程式(ニューラル-GODE)モデルを提案し,さらにニューラル-ODEを拡張して離散ResNetを近似する。 具体的には,非パラメトリックなb-スプライン関数を用いてニューラルネットワークをパラメータ化することにより,モデルの複雑性と計算効率のトレードオフを容易にバランスできる。 ResNetとNeural-ODEモデルは,提案したNeural-GODEモデルの特別な場合である。 MNIST と CIFAR-10 という2つのベンチマークデータセットに基づいて, 層状ニューラルGODE は標準ニューラルGODE よりも柔軟で汎用的であることを示す。 さらに、Neural-GODEは、予測精度でResNetsと互換性を持って実行しながら、計算とメモリの利点を享受する。

関連論文リスト

• Neural Fractional Differential Equations [2.812395851874055]
  FDE(Fractional Differential Equations)は、科学や工学において複雑なシステムをモデル化するための重要なツールである。 我々は、FDEをデータのダイナミックスに調整する新しいディープニューラルネットワークアーキテクチャであるNeural FDEを提案する。
  論文  参考訳（メタデータ） (2024-03-05T07:45:29Z)
• Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
  本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。 時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
  論文  参考訳（メタデータ） (2022-06-10T02:14:59Z)
• Realization Theory Of Recurrent Neural ODEs Using Polynomial System Embeddings [0.802904964931021]
  本稿では,リカレント(RNN)と長期記憶(ODE-LSTM)ネットワークのニューラルODEアナログを,アルゴリズム的にシステムのクラスに組み込むことができることを示す。 このインプット・アウトプットの動作を埋め込み、他のDE-LSTMアーキテクチャにも拡張できる。 次に、システムの実現理論を用いて、ODE-LSTMによって実現可能な入力出力と、そのようなシステムの最小化のための十分な条件を提供する。
  論文  参考訳（メタデータ） (2022-05-24T11:36:18Z)
• Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
  偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。 本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。 動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
  論文  参考訳（メタデータ） (2022-04-13T08:53:41Z)
• Neural Stochastic Partial Differential Equations [1.2183405753834562]
  物理に着想を得たニューラルアーキテクチャの2つの重要なクラスの拡張を提供するニューラルSPDEモデルを導入する。 一方、一般的な神経-通常、制御され、粗い-微分方程式モデルをすべて拡張し、入ってくる情報を処理することができる。 一方、関数空間間のマッピングをモデル化するニューラルネットワークの最近の一般化であるNeural Operatorsを拡張して、複雑なSPDEソリューション演算子を学習することができる。
  論文  参考訳（メタデータ） (2021-10-19T20:35:37Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Neural Ordinary Differential Equation based Recurrent Neural Network Model [0.7233897166339269]
  微分方程式は ニューラルネットワークの 新たなメンバーだ 本稿では, 通常の微分方程式(ODE)の強度を新しい拡張法で探索する。 2つの新しいODEベースのRNNモデル(GRU-ODEモデルとLSTM-ODE)は、ODEソルバを用いて任意の時点で隠れた状態とセル状態を計算することができる。 実験により、これらの新しいODEベースのRNNモデルは、遅延ODEや従来のニューラルODEよりもトレーニング時間が少ないことが示された。
  論文  参考訳（メタデータ） (2020-05-20T01:02:29Z)
• Time Dependence in Non-Autonomous Neural ODEs [74.78386661760662]
  時変重みを持つニューラルODEの新しいファミリーを提案する。 我々は、速度と表現能力の両面で、従来のニューラルODEの変形よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-05T01:41:46Z)
• Stochasticity in Neural ODEs: An Empirical Study [68.8204255655161]
  ニューラルネットワークの正規化(ドロップアウトなど)は、より高度な一般化を可能にするディープラーニングの広範な技術である。 トレーニング中のデータ拡張は、同じモデルの決定論的およびバージョンの両方のパフォーマンスを向上させることを示す。 しかし、データ拡張によって得られる改善により、経験的正規化の利得は完全に排除され、ニューラルODEとニューラルSDEの性能は無視される。
  論文  参考訳（メタデータ） (2020-02-22T22:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。