論文の概要: Continuous Depth Recurrent Neural Differential Equations

• arxiv url: http://arxiv.org/abs/2212.13714v1
• Date: Wed, 28 Dec 2022 06:34:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 15:45:04.334842
• Title: Continuous Depth Recurrent Neural Differential Equations
• Title（参考訳）: 連続深さ繰り返しニューラル微分方程式
• Authors: Srinivas Anumasa, Geetakrishnasai Gunapati, P.K. Srijith
• Abstract要約: RNNモデルを一般化するための連続深さ再帰型ニューラル微分方程式(CDR-NDE)を提案する。 CDR-NDEはこれらの次元のそれぞれに2つの異なる微分方程式を考慮し、時間方向と深さ方向の進化をモデル化する。 また,隠蔽状態の計算を時間経過に伴う熱方程式の解法として扱う偏微分方程式に基づくCDR-NDE熱モデルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent neural networks (RNNs) have brought a lot of advancements in sequence labeling tasks and sequence data. However, their effectiveness is limited when the observations in the sequence are irregularly sampled, where the observations arrive at irregular time intervals. To address this, continuous time variants of the RNNs were introduced based on neural ordinary differential equations (NODE). They learn a better representation of the data using the continuous transformation of hidden states over time, taking into account the time interval between the observations. However, they are still limited in their capability as they use the discrete transformations and a fixed discrete number of layers (depth) over an input in the sequence to produce the output observation. We intend to address this limitation by proposing RNNs based on differential equations which model continuous transformations over both depth and time to predict an output for a given input in the sequence. Specifically, we propose continuous depth recurrent neural differential equations (CDR-NDE) which generalizes RNN models by continuously evolving the hidden states in both the temporal and depth dimensions. CDR-NDE considers two separate differential equations over each of these dimensions and models the evolution in the temporal and depth directions alternatively. We also propose the CDR-NDE-heat model based on partial differential equations which treats the computation of hidden states as solving a heat equation over time. We demonstrate the effectiveness of the proposed models by comparing against the state-of-the-art RNN models on real world sequence labeling problems and data.
• Abstract（参考訳）: リカレントニューラルネットワーク(RNN)は、シーケンスラベリングタスクやシーケンスデータに多くの進歩をもたらした。 しかし、それらの効果は、観測が不規則な時間間隔で到着する不規則なサンプル化された場合に限られる。 これを解決するために、ニューラル常微分方程式(NODE)に基づいて連続時間変分RNNを導入した。 彼らは、観測間の時間間隔を考慮して、時間とともに隠れた状態の連続的な変換を使用して、データのより良い表現を学ぶ。 しかし、それらは離散変換と、シーケンスの入力に対して固定された離散層数(深さ)を使用して出力観測を行うため、その能力にはまだ制限がある。 この制限に対処するために、連続的な変換を深さと時間の両方でモデル化する微分方程式に基づいてRNNを提案し、与えられた入力の出力を予測する。 具体的には、時間次元と深さ次元の両方で隠れた状態を連続的に進化させることにより、RNNモデルを一般化する連続深さ反復型ニューラル微分方程式(CDR-NDE)を提案する。 CDR-NDEはこれらの次元のそれぞれに対して2つの異なる微分方程式を考え、時間方向と深さ方向の進化をモデル化する。 また,隠蔽状態の計算を時間経過に伴う熱方程式の解法として扱う偏微分方程式に基づくCDR-NDE熱モデルを提案する。 本稿では,実世界系列ラベリング問題とデータに対して最先端のrnnモデルとの比較を行い,提案モデルの有効性を示す。

関連論文リスト

• Neural Differential Recurrent Neural Network with Adaptive Time Steps [11.999568208578799]
  隠れ状態の時間的発達を表すためにニューラルODEを用いるRNN-ODE-Adapと呼ばれるRNNベースのモデルを提案する。 我々は、データの変化の急激さに基づいて時間ステップを適応的に選択し、「スパイクのような」時系列に対してより効率的にモデルを訓練する。
  論文  参考訳（メタデータ） (2023-06-02T16:46:47Z)
• Neural Laplace: Learning diverse classes of differential equations in the Laplace domain [86.52703093858631]
  本稿では,これらすべてを含む多種多様な微分方程式(DE)を学習するための統一的な枠組みを提案する。 時間領域の力学をモデル化する代わりに、ラプラス領域でモデル化する。 The experiment, Neural Laplace shows excellent performance in modelling and extrapolating the trajectories of various class of DEs。
  論文  参考訳（メタデータ） (2022-06-10T02:14:59Z)
• EXIT: Extrapolation and Interpolation-based Neural Controlled Differential Equations for Time-series Classification and Forecasting [19.37382379378985]
  神経制御微分方程式(NCDE)は深層学習におけるブレークスルーと見なされている。 本研究では、NCDEのコア部分、すなわち離散的な時系列入力から連続的なパスを生成することで、NCDEを強化する。 我々のNCDE設計では、下流の機械学習タスクに外挿情報と外挿情報の両方を使うことができる。
  論文  参考訳（メタデータ） (2022-04-19T09:37:36Z)
• Modeling Irregular Time Series with Continuous Recurrent Units [3.7335080869292483]
  観測時間間の不規則な時間間隔を処理するために,連続的再帰単位(CRU)を提案する。 我々はCRUがニューラル常微分方程式(neural ODE)に基づくモデルよりも不規則時系列を補間できることを示した。 また,本モデルでは,インエイジからダイナミックスを推測し,Kalmanの取得により,ノイズの多い観測結果から,有効な状態更新候補を効率よく抽出できることも示している。
  論文  参考訳（メタデータ） (2021-11-22T16:49:15Z)
• Consistency of mechanistic causal discovery in continuous-time using Neural ODEs [85.7910042199734]
  ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。 本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-06T08:48:02Z)
• Neural ODE Processes [64.10282200111983]
  NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。 我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
  論文  参考訳（メタデータ） (2021-03-23T09:32:06Z)
• Graph Gamma Process Generalized Linear Dynamical Systems [60.467040479276704]
  実マルチ変数時系列をモデル化するために,グラフガンマ過程(GGP)線形力学系を導入する。 時間的パターン発見のために、モデルの下での潜在表現は、時系列を多変量部分列の同相集合に分解するために使用される。 非零次ノード数が有限であるランダムグラフを用いて、潜時状態遷移行列の空間パターンと次元の両方を定義する。
  論文  参考訳（メタデータ） (2020-07-25T04:16:34Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Learning Continuous-Time Dynamics by Stochastic Differential Networks [32.63114111531396]
  変動微分ネットワーク(VSDN)という,フレキシブルな連続時間リカレントニューラルネットワークを提案する。 VSDNは神経微分方程式(SDE)による散発時間系列の複雑なダイナミクスを埋め込む VSDNは最先端の継続的ディープラーニングモデルより優れており、散発時系列の予測やタスクにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-06-11T01:40:34Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。