論文の概要: CrossPyramid: Neural Ordinary Differential Equations Architecture for Partially-observed Time-series

• arxiv url: http://arxiv.org/abs/2212.03560v1
• Date: Wed, 7 Dec 2022 10:25:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 16:44:15.980658
• Title: CrossPyramid: Neural Ordinary Differential Equations Architecture for Partially-observed Time-series
• Title（参考訳）: CrossPyramid:部分観測時間列に対するニューラル正規微分方程式アーキテクチャ
• Authors: Futoon M. Abushaqra, Hao Xue, Yongli Ren, Flora D. Salim
• Abstract要約: そこで我々はCrossPyramidを紹介した。CrossPyramidは、列表現の一般化性を高めるための新しいODEベースのモデルである。 提案アーキテクチャは,断続的連続の長いギャップを効果的にモデル化し,最先端のアプローチより優れていることを示す。
• 参考スコア（独自算出の注目度）: 10.44732293654293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ordinary Differential Equations (ODE)-based models have become popular foundation models to solve many time-series problems. Combining neural ODEs with traditional RNN models has provided the best representation for irregular time series. However, ODE-based models require the trajectory of hidden states to be defined based on the initial observed value or the last available observation. This fact raises questions about how long the generated hidden state is sufficient and whether it is effective when long sequences are used instead of the typically used shorter sequences. In this article, we introduce CrossPyramid, a novel ODE-based model that aims to enhance the generalizability of sequences representation. CrossPyramid does not rely only on the hidden state from the last observed value; it also considers ODE latent representations learned from other samples. The main idea of our proposed model is to define the hidden state for the unobserved values based on the non-linear correlation between samples. Accordingly, CrossPyramid is built with three distinctive parts: (1) ODE Auto-Encoder to learn the best data representation. (2) Pyramidal attention method to categorize the learned representations (hidden state) based on the relationship characteristics between samples. (3) Cross-level ODE-RNN to integrate the previously learned information and provide the final latent state for each sample. Through extensive experiments on partially-observed synthetic and real-world datasets, we show that the proposed architecture can effectively model the long gaps in intermittent series and outperforms state-of-the-art approaches. The results show an average improvement of 10\% on univariate and multivariate datasets for both forecasting and classification tasks.
• Abstract（参考訳）: 通常微分方程式(ODE)に基づくモデルは、多くの時系列問題を解決するために一般的な基礎モデルとなっている。 ニューラルODEと従来のRNNモデルを組み合わせることで、不規則な時系列を表現できる。 しかし、ODEベースのモデルでは、最初の観測値や最後の観測値に基づいて隠れ状態の軌跡を定義する必要がある。 この事実は、生成した隠蔽状態が十分である期間と、それが一般的に使用される短いシーケンスの代わりに長いシーケンスを使用する場合に有効であるかどうかに関する疑問を引き起こす。 本稿では、シーケンス表現の一般化性を高めることを目的とした、新しいODEベースのモデルであるCrossPyramidを紹介する。 CrossPyramidは、最後に観測された値から隠れた状態のみに依存するのではなく、他のサンプルから学んだODE潜在表現も考慮している。 提案モデルの主な考え方は,標本間の非線形相関に基づいて観測されていない値の隠れ状態を定義することである。 そこでCrossPyramidは、(1)ODE Auto-Encoderを使って最適なデータ表現を学習する。 2) サンプル間の関係特性に基づいて学習した表現(隠れ状態)を分類するピラミッド注意法について検討した。 3) 事前学習した情報を統合し、各サンプルに最終潜在状態を提供するクロスレベルode-rnn。 部分的に観測された合成および実世界のデータセットに関する広範な実験を通して、提案アーキテクチャは断続的な系列の長いギャップを効果的にモデル化し、最先端のアプローチより優れていることを示す。 その結果、予測と分類のタスクにおいて、不変量データセットと多変量データセットの平均値が10\%向上した。

関連論文リスト

• Inference of Sequential Patterns for Neural Message Passing in Temporal Graphs [0.6562256987706128]
  HYPA-DBGNNは、グラフ上の時系列データにおける異常なシーケンシャルパターンの推論を組み合わせた、新しい2段階のアプローチである。 本手法は超幾何グラフアンサンブルを利用して1階グラフと高階グラフの両方において異常なエッジを同定する。 我々の研究は、時間的および因果配列異常を利用した統計的に情報を得たGNNを初めて導入した。
  論文  参考訳（メタデータ） (2024-06-24T11:41:12Z)
• Functional Latent Dynamics for Irregularly Sampled Time Series Forecasting [5.359176539960004]
  不規則にサンプリングされた時系列は、医療、気候、天文学など、複数の現実世界の応用でしばしば見られる。 機能潜在ダイナミクス(FLD)と呼ばれるモデル群を提案する。 正規微分方程式(ODE)を解く代わりに、モデル内の連続潜時状態を特定するために、常に点が存在する単純な曲線を用いる。
  論文  参考訳（メタデータ） (2024-05-06T15:53:55Z)
• PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from the perspective of partial differential equations [49.80959046861793]
  本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。 7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
  論文  参考訳（メタデータ） (2024-02-25T17:39:44Z)
• Anamnesic Neural Differential Equations with Orthogonal Polynomial Projections [6.345523830122166]
  本稿では,長期記憶を強制し,基礎となる力学系の大域的表現を保存する定式化であるPolyODEを提案する。 提案手法は理論的保証に支えられ,過去と将来のデータの再構築において,過去の成果よりも優れていたことを実証する。
  論文  参考訳（メタデータ） (2023-03-03T10:49:09Z)
• Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
  状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。 近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。 LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-24T15:17:42Z)
• Learning to Reconstruct Missing Data from Spatiotemporal Graphs with Sparse Observations [11.486068333583216]
  本稿では、欠落したデータポイントを再構築するための効果的なモデル学習の課題に取り組む。 我々は,高度にスパースな観測値の集合を与えられた注意に基づくアーキテクチャのクラスを提案し,時間と空間における点の表現を学習する。 技術状況と比較して、我々のモデルは予測エラーを伝播したり、前方および後方の時間依存性をエンコードするために双方向モデルを必要とすることなくスパースデータを処理します。
  論文  参考訳（メタデータ） (2022-05-26T16:40:48Z)
• Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
  動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。 具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。 そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
  論文  参考訳（メタデータ） (2022-02-17T02:17:31Z)
• Deep Generative model with Hierarchical Latent Factors for Time Series Anomaly Detection [40.21502451136054]
  本研究は、時系列異常検出のための新しい生成モデルであるDGHLを提示する。 トップダウンの畳み込みネットワークは、新しい階層的な潜在空間を時系列ウィンドウにマッピングし、時間ダイナミクスを利用して情報を効率的にエンコードする。 提案手法は,4つのベンチマーク・データセットにおいて,現在の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-02-15T17:19:44Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Variational Hyper RNN for Sequence Modeling [69.0659591456772]
  本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。 提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。 提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
  論文  参考訳（メタデータ） (2020-02-24T19:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。