論文の概要: Realization Theory Of Recurrent Neural ODEs Using Polynomial System Embeddings

• arxiv url: http://arxiv.org/abs/2205.11989v1
• Date: Tue, 24 May 2022 11:36:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 01:04:45.418928
• Title: Realization Theory Of Recurrent Neural ODEs Using Polynomial System Embeddings
• Title（参考訳）: ポリノミアル系埋め込みを用いたリカレントニューラルモードの実現理論
• Authors: Martin Gonzalez, Thibault Defourneau, Hatem Hajri, Mihaly Petreczky
• Abstract要約: 本稿では,リカレント(RNN)と長期記憶(ODE-LSTM)ネットワークのニューラルODEアナログを,アルゴリズム的にシステムのクラスに組み込むことができることを示す。 このインプット・アウトプットの動作を埋め込み、他のDE-LSTMアーキテクチャにも拡張できる。 次に、システムの実現理論を用いて、ODE-LSTMによって実現可能な入力出力と、そのようなシステムの最小化のための十分な条件を提供する。
• 参考スコア（独自算出の注目度）: 0.802904964931021
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we show that neural ODE analogs of recurrent (ODE-RNN) and Long Short-Term Memory (ODE-LSTM) networks can be algorithmically embeddeded into the class of polynomial systems. This embedding preserves input-output behavior and can suitably be extended to other neural DE architectures. We then use realization theory of polynomial systems to provide necessary conditions for an input-output map to be realizable by an ODE-LSTM and sufficient conditions for minimality of such systems. These results represent the first steps towards realization theory of recurrent neural ODE architectures, which is is expected be useful for model reduction and learning algorithm analysis of recurrent neural ODEs.
• Abstract（参考訳）: 本稿では,リカレント(ODE-RNN)およびLong Short-Term Memory(ODE-LSTM)ネットワークのニューラルODEアナログを,多項式系のクラスにアルゴリズム的に組み込むことができることを示す。 この埋め込みは入力出力の挙動を保ち、他のニューラルDアーキテクチャにも好適に拡張できる。 次に、多項式系の実現理論を用いて、ODE-LSTMによって実現可能な入力出力マップと、そのようなシステムの最小化のための十分な条件を提供する。 これらの結果は、リカレントニューラルODEアーキテクチャの実現理論への第一歩であり、リカレントニューラルODEのモデル還元と学習アルゴリズム解析に有用であることが期待される。

関連論文リスト

• Embedding Capabilities of Neural ODEs [0.0]
  動的システム理論を用いたニューラルODEの入出力関係について検討する。 我々は,低次元および高次元の異なるニューラルODEアーキテクチャにおける写像の正確な埋め込みについて,いくつかの結果を証明した。
  論文  参考訳（メタデータ） (2023-08-02T15:16:34Z)
• On the Trade-off Between Efficiency and Precision of Neural Abstraction [62.046646433536104]
  ニューラル抽象化は、最近、複雑な非線形力学モデルの形式近似として導入されている。 我々は形式的帰納的合成法を用いて、これらのセマンティクスを用いた動的モデルをもたらすニューラル抽象化を生成する。
  論文  参考訳（メタデータ） (2023-07-28T13:22:32Z)
• A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
  反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。 自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。 時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
  論文  参考訳（メタデータ） (2023-01-24T08:39:20Z)
• Neural Generalized Ordinary Differential Equations with Layer-varying Parameters [1.3691539554014036]
  層状ニューラルGODEは標準ニューラルGODEよりも柔軟で汎用的であることを示す。 Neural-GODEは、予測精度でResNetsと互換性を持って実行しながら、計算とメモリの利点を享受する。
  論文  参考訳（メタデータ） (2022-09-21T20:02:28Z)
• Accelerating Neural ODEs Using Model Order Reduction [0.0]
  本稿では,ニューラルネットワークの圧縮と高速化に数学的モデルオーダー削減法が利用できることを示す。 我々は,ニューラルネットワークの層として必要な部分空間投影と操作を統合するニューラルODEを開発することで,新しい圧縮手法を実装した。
  論文  参考訳（メタデータ） (2021-05-28T19:27:09Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Go with the Flow: Adaptive Control for Neural ODEs [10.265713480189484]
  ニューラル制御ODE(N-CODE)と呼ばれる新しいモジュールについて述べる。 N-CODEモジュールは、初期または現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数である。 単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。
  論文  参考訳（メタデータ） (2020-06-16T22:21:15Z)
• Neural Ordinary Differential Equation based Recurrent Neural Network Model [0.7233897166339269]
  微分方程式は ニューラルネットワークの 新たなメンバーだ 本稿では, 通常の微分方程式(ODE)の強度を新しい拡張法で探索する。 2つの新しいODEベースのRNNモデル(GRU-ODEモデルとLSTM-ODE)は、ODEソルバを用いて任意の時点で隠れた状態とセル状態を計算することができる。 実験により、これらの新しいODEベースのRNNモデルは、遅延ODEや従来のニューラルODEよりもトレーニング時間が少ないことが示された。
  論文  参考訳（メタデータ） (2020-05-20T01:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。