論文の概要: EXIT: Extrapolation and Interpolation-based Neural Controlled
Differential Equations for Time-series Classification and Forecasting
- arxiv url: http://arxiv.org/abs/2204.08771v1
- Date: Tue, 19 Apr 2022 09:37:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-20 14:47:33.491030
- Title: EXIT: Extrapolation and Interpolation-based Neural Controlled
Differential Equations for Time-series Classification and Forecasting
- Title（参考訳）: 出口:時系列分類と予測のための外挿および補間に基づくニューラル制御微分方程式
- Authors: Sheo Yon Jhin, Jaehoon Lee, Minju Jo, Seungji Kook, Jinsung Jeon,
Jihyeon Hyeong, Jayoung Kim, Noseong Park
- Abstract要約: 神経制御微分方程式(NCDE)は深層学習におけるブレークスルーと見なされている。
本研究では、NCDEのコア部分、すなわち離散的な時系列入力から連続的なパスを生成することで、NCDEを強化する。
我々のNCDE設計では、下流の機械学習タスクに外挿情報と外挿情報の両方を使うことができる。
- 参考スコア（独自算出の注目度）: 19.37382379378985
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning inspired by differential equations is a recent research trend
and has marked the state of the art performance for many machine learning
tasks. Among them, time-series modeling with neural controlled differential
equations (NCDEs) is considered as a breakthrough. In many cases, NCDE-based
models not only provide better accuracy than recurrent neural networks (RNNs)
but also make it possible to process irregular time-series. In this work, we
enhance NCDEs by redesigning their core part, i.e., generating a continuous
path from a discrete time-series input. NCDEs typically use interpolation
algorithms to convert discrete time-series samples to continuous paths.
However, we propose to i) generate another latent continuous path using an
encoder-decoder architecture, which corresponds to the interpolation process of
NCDEs, i.e., our neural network-based interpolation vs. the existing explicit
interpolation, and ii) exploit the generative characteristic of the decoder,
i.e., extrapolation beyond the time domain of original data if needed.
Therefore, our NCDE design can use both the interpolated and the extrapolated
information for downstream machine learning tasks. In our experiments with 5
real-world datasets and 12 baselines, our extrapolation and interpolation-based
NCDEs outperform existing baselines by non-trivial margins.
- Abstract（参考訳）: 微分方程式にインスパイアされたディープラーニングは、最近の研究トレンドであり、多くの機械学習タスクにおけるアートパフォーマンスの現状を示している。
その中でも,神経制御微分方程式(ncdes)を用いた時系列モデリングはブレークスルーと考えられている。
多くの場合、ncdeベースのモデルは、recurrent neural networks (rnn)よりも精度が良いだけでなく、不規則な時系列を処理できる。
本研究では,そのコア部分,すなわち離散時系列入力から連続パスを生成することによって,ncdesを強化する。
ncdesは通常、離散時系列サンプルを連続経路に変換するために補間アルゴリズムを使用する。
しかし、我々は提案する
i) NCDEの補間過程、すなわち、ニューラルネットワークベースの補間と既存の明示的補間とに対応するエンコーダ・デコーダアーキテクチャを用いて、別の潜時連続経路を生成する。
二 デコーダの生成的特性、すなわち、必要であれば元のデータの時間領域を超えて外挿すること。
したがって、NCDE設計では、下流機械学習タスクに補間情報と外挿情報の両方を使用できる。
実世界の5つのデータセットと12のベースラインを用いた実験では、外挿と補間に基づくNCDEは、非自明なマージンで既存のベースラインを上回った。
関連論文リスト
- PDETime: Rethinking Long-Term Multivariate Time Series Forecasting from
the perspective of partial differential equations [49.80959046861793]
本稿では,ニューラルPDEソルバの原理に着想を得た新しいLMTFモデルであるPDETimeを提案する。
7つの異なる時間的実世界のLMTFデータセットを用いた実験により、PDETimeがデータ固有の性質に効果的に適応できることが判明した。
論文 参考訳（メタデータ） (2024-02-25T17:39:44Z) - Time-Parameterized Convolutional Neural Networks for Irregularly Sampled
Time Series [26.77596449192451]
不規則にサンプリングされた時系列は、いくつかのアプリケーション領域でユビキタスであり、スパースであり、完全に観測されていない、非整合的な観察に繋がる。
標準シーケンシャルニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)は、観測時間間の定期的な間隔を考慮し、不規則な時系列モデリングに重大な課題を提起する。
時間的に不規則なカーネルを用いて畳み込み層をパラメータ化する。
論文 参考訳（メタデータ） (2023-08-06T21:10:30Z) - Convolutional Neural Operators for robust and accurate learning of PDEs [11.562748612983956]
本稿では、入力や出力として関数を処理する畳み込みニューラルネットワークの新しい適応法を提案する。
結果として生じるアーキテクチャは、畳み込みニューラル演算子(CNO)と呼ばれる。
普遍性定理を証明し、CNOが PDE で生じる作用素を所望の精度で近似できることを示す。
論文 参考訳（メタデータ） (2023-02-02T15:54:45Z) - Learnable Path in Neural Controlled Differential Equations [11.38331901271794]
ニューラルネットワーク制御微分方程式(NCDEs)は、(不規則な)時系列処理における特別なモデルである。
本稿では,適切な方法を学ぶのと同一の潜在経路を生成する方法を提案する。
我々はNCDEとNODEをベースとしたエンコーダデコーダモジュールを設計し,その特別な訓練方法を提案する。
論文 参考訳（メタデータ） (2023-01-11T07:05:27Z) - Continuous Depth Recurrent Neural Differential Equations [0.0]
RNNモデルを一般化するための連続深さ再帰型ニューラル微分方程式(CDR-NDE)を提案する。
CDR-NDEはこれらの次元のそれぞれに2つの異なる微分方程式を考慮し、時間方向と深さ方向の進化をモデル化する。
また,隠蔽状態の計算を時間経過に伴う熱方程式の解法として扱う偏微分方程式に基づくCDR-NDE熱モデルを提案する。
論文 参考訳（メタデータ） (2022-12-28T06:34:32Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Semi-supervised Learning of Partial Differential Operators and Dynamical
Flows [68.77595310155365]
本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。
本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。
その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
論文 参考訳（メタデータ） (2022-07-28T19:59:14Z) - Attentive Neural Controlled Differential Equations for Time-series
Classification and Forecasting [3.673363968661099]
本稿では,時系列分類と予測のための注意神経制御微分方程式(ANCDE)を提案する。
非自明なマージンで全てのケースで最高の精度を示す。
我々の可視化は、提示された注意機構が重要な情報に焦点をあてることによって機能することを示している。
論文 参考訳（メタデータ） (2021-09-04T14:17:01Z) - Neural ODE Processes [64.10282200111983]
NDP(Neural ODE Process)は、Neural ODEの分布によって決定される新しいプロセスクラスである。
我々のモデルは,少数のデータポイントから低次元システムのダイナミクスを捉えることができることを示す。
論文 参考訳（メタデータ） (2021-03-23T09:32:06Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。
暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。
これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文 参考訳（メタデータ） (2020-06-08T09:53:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。